虚拟机安装hadoop安装详细步骤图，虚拟机安装Hadoop详细步骤解析及图解

虚拟机安装Hadoop详解：本文提供详细步骤图解，涵盖Hadoop在虚拟机中的安装过程，包括环境准备、软件下载、配置文件编辑、启动Hadoop服务等内容，帮助用户顺利完成Hadoop的安装与配置。

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集，在虚拟机中安装Hadoop可以方便地模拟真实环境，便于学习和实践，本文将详细介绍在虚拟机中安装Hadoop的步骤，并提供相应的图解，帮助您轻松完成Hadoop的安装。

准备工作

1、硬件环境：一台配置较高的虚拟机，建议内存至少4GB，CPU至少2核。

2、软件环境：

- 操作系统：Linux系统，如CentOS、Ubuntu等。

- Java环境：Hadoop需要Java环境支持，版本为1.8。

- 虚拟机软件：如VMware、VirtualBox等。

安装步骤

1、在虚拟机中安装Linux操作系统

（1）下载Linux镜像文件，如CentOS 7镜像。

（2）打开虚拟机软件，创建新的虚拟机，选择Linux系统，指定下载的镜像文件。

（3）设置虚拟机内存、CPU等硬件资源。

（4）启动虚拟机，按照提示完成Linux系统的安装。

2、配置Linux系统

（1）登录Linux系统，修改root密码。

（2）安装Java环境：

- 添加Java仓库：sudo rpm -Uvh java-1.8.0-openjdk-1.8.0.252-1.b108.el7_9.x86_64.rpm

- 设置Java环境变量：export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252-1.b108.el7_9.x86_64

- 配置环境变量：echo 'JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252-1.b108.el7_9.x86_64' >> /etc/profile

- 使环境变量生效：source /etc/profile

3、下载Hadoop

（1）打开浏览器，访问Hadoop官网：https://hadoop.apache.org/releases.html。

（2）下载Hadoop版本，如Hadoop-3.3.4.tar.gz。

（3）将下载的Hadoop压缩包上传到虚拟机中。

4、解压Hadoop

（1）解压Hadoop压缩包：tar -zxvf hadoop-3.3.4.tar.gz -C /opt/

（2）进入Hadoop解压目录：cd /opt/hadoop-3.3.4

5、配置Hadoop

（1）修改Hadoop配置文件：cd /opt/hadoop-3.3.4/etc/hadoop

（2）修改hadoop-env.sh文件，设置Java环境变量：

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252-1.b108.el7_9.x86_64

（3）修改core-site.xml文件，配置Hadoop运行的主机名：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop-master:8020</value>
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop-3.3.4/tmp</value>
     </property>
   </configuration>

（4）修改hdfs-site.xml文件，配置HDFS的存储目录：

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
     <property>
       <name>dfs.namenode.name.dir</name>
       <value>/opt/hadoop-3.3.4/hdfs/namenode</value>
     </property>
     <property>
       <name>dfs.datanode.data.dir</name>
       <value>/opt/hadoop-3.3.4/hdfs/datanode</value>
     </property>
   </configuration>

（5）修改mapred-site.xml文件，配置MapReduce运行的主机名：

   <configuration>
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>

（6）修改yarn-site.xml文件，配置YARN的运行参数：

   <configuration>
     <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hadoop-master</value>
     </property>
     <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
     </property>
   </configuration>

6、格式化HDFS

（1）进入Hadoop解压目录：cd /opt/hadoop-3.3.4

（2）执行格式化HDFS命令：bin/hdfs namenode -format

7、启动Hadoop

（1）启动HDFS：bin/start-dfs.sh

（2）启动YARN：bin/start-yarn.sh

8、验证Hadoop安装

（1）打开浏览器，访问Hadoop Web UI：http://hadoop-master:50070

（2）查看HDFS文件系统信息。

（3）打开另一个终端，执行MapReduce示例程序：

   bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output

（4）查看输出结果：cat /output/part-r-00000

通过以上步骤，您已成功在虚拟机中安装Hadoop，您可以继续学习Hadoop的其他功能，如Hive、HBase等，希望本文对您有所帮助！