虚拟机安装hadoop安装详细步骤，虚拟机安装Hadoop详细步骤详解，从环境搭建到集群配置

详细介绍了在虚拟机上安装Hadoop的步骤，包括环境搭建、集群配置等全过程，为用户提供了从零开始到完成Hadoop集群部署的实用指南。

准备工作

1、准备一台虚拟机，操作系统建议为Linux，这里以CentOS 7为例。

2、准备Java环境，Hadoop需要Java运行环境，版本建议为Java 8。

3、准备SSH工具，用于远程登录虚拟机，这里以PuTTY为例。

安装Java

1、下载Java安装包，这里以Java 8为例，下载链接：https://www.oracle.com/java/technologies/javase-downloads.html

2、将Java安装包上传到虚拟机，使用SCP命令：

   scp java-8uXXX-linux-x64.tar.gz root@虚拟机IP:/opt/

XXX为版本号，虚拟机IP为虚拟机的IP地址。

3、解压Java安装包：

   tar -zxvf java-8uXXX-linux-x64.tar.gz -C /opt/

4、配置环境变量：

打开/etc/profile 文件，添加以下内容：

   export JAVA_HOME=/opt/java-8uXXX
   export PATH=$PATH:$JAVA_HOME/bin

5、使环境变量生效：

   source /etc/profile

6、验证Java环境：

   java -version

如果显示Java版本信息，则Java环境配置成功。

安装Hadoop

1、下载Hadoop安装包，这里以Hadoop 3.3.4为例，下载链接：https://hadoop.apache.org/releases.html

2、将Hadoop安装包上传到虚拟机，使用SCP命令：

   scp hadoop-3.3.4.tar.gz root@虚拟机IP:/opt/

3、解压Hadoop安装包：

   tar -zxvf hadoop-3.3.4.tar.gz -C /opt/

4、配置Hadoop环境变量：

打开/etc/profile 文件，添加以下内容：

   export HADOOP_HOME=/opt/hadoop-3.3.4
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、使环境变量生效：

   source /etc/profile

6、验证Hadoop环境：

   hadoop version

如果显示Hadoop版本信息，则Hadoop环境配置成功。

配置Hadoop集群

1、修改hadoop-3.3.4/etc/hadoop/core-site.xml 文件，添加以下内容：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://master:8020</value>
       </property>
   </configuration>

2、修改hadoop-3.3.4/etc/hadoop/hdfs-site.xml 文件，添加以下内容：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>2</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/opt/hadoop-3.3.4/data/hdfs/namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/opt/hadoop-3.3.4/data/hdfs/datanode</value>
       </property>
   </configuration>

3、修改hadoop-3.3.4/etc/hadoop/mapred-site.xml 文件，添加以下内容：

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>

4、修改hadoop-3.3.4/etc/hadoop/yarn-site.xml 文件，添加以下内容：

   <configuration>
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
       <property>
           <name>yarn.resourcemanager.address</name>
           <value>master:8032</value>
       </property>
       <property>
           <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>
   </configuration>

5、创建Hadoop数据目录：

   mkdir -p /opt/hadoop-3.3.4/data/hdfs/namenode
   mkdir -p /opt/hadoop-3.3.4/data/hdfs/datanode
   chown -R hadoop:hadoop /opt/hadoop-3.3.4/data

6、格式化HDFS：

   hdfs namenode -format

7、启动Hadoop服务：

   start-dfs.sh
   start-yarn.sh

8、验证Hadoop集群：

打开浏览器，访问http://master:8088 和http://master:8042，分别查看HDFS和YARN的Web界面。

至此，虚拟机安装Hadoop集群已成功完成，在实际应用中，还需要对Hadoop集群进行优化和配置，以满足不同的需求。