虚拟机安装hadoop安装详细步骤图，虚拟机环境下一站式Hadoop安装指南及详细步骤解析

本指南提供虚拟机环境下Hadoop安装的详细步骤图解，涵盖一站式安装流程，包括环境配置、组件安装、配置文件调整等关键环节，助您快速搭建Hadoop集群。

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，被广泛应用于各种大数据处理场景，本文将详细介绍在虚拟机环境下安装Hadoop的详细步骤，旨在帮助读者轻松搭建Hadoop集群，为后续的大数据处理打下基础。

环境准备

1、操作系统：本文以CentOS 7.6为例，其他Linux发行版可参考本文步骤进行安装。

2、虚拟机：建议使用VMware Workstation或VirtualBox等虚拟机软件创建虚拟机。

3、Hadoop版本：本文以Hadoop 3.3.1为例，其他版本可参考本文步骤进行安装。

4、网络配置：确保虚拟机网络配置正确，可使用桥接模式或NAT模式。

安装步骤

1、配置hosts文件

在虚拟机的每个节点上，编辑hosts文件（位于/etc/hosts目录），添加以下内容：

127、0.0.1   localhost
::1         localhost ip6-localhost ip6-loopback
fe00::0     ip6-localnet
ff00::0     ip6-mcastprefix
ff02::1     ip6-allnodes
192、168.1.101 node1
192、168.1.102 node2
192、168.1.103 node3

192.168.1.101、192.168.1.102、192.168.1.103分别为三个节点的IP地址。

2、安装JDK

Hadoop依赖于Java运行环境，因此需要先安装JDK，以下以OpenJDK 8为例，在虚拟机中执行以下命令：

sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

安装完成后，验证JDK版本：

java -version

3、安装Hadoop

（1）下载Hadoop安装包

访问Hadoop官网（https://hadoop.apache.org/）下载对应版本的安装包，本文以Hadoop 3.3.1为例，下载地址为：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

（2）解压安装包

将下载的Hadoop安装包解压到指定目录，本文以/home/hadoop/hadoop-3.3.1为例：

tar -zxvf hadoop-3.3.1.tar.gz -C /home/hadoop/

（3）配置Hadoop环境变量

在虚拟机的每个节点上，编辑.bashrc文件（位于/home/hadoop/目录），添加以下内容：

export HADOOP_HOME=/home/hadoop/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出编辑器，然后执行以下命令使环境变量生效：

source .bashrc

4、配置Hadoop

（1）配置hadoop-env.sh

在Hadoop的etc/hadoop目录下，编辑hadoop-env.sh文件，添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.x86_64

（2）配置core-site.xml

在Hadoop的etc/hadoop目录下，编辑core-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.3.1/tmp</value>
    </property>
</configuration>

（3）配置hdfs-site.xml

在Hadoop的etc/hadoop目录下，编辑hdfs-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop-3.3.1/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop-3.3.1/hdfs/data</value>
    </property>
</configuration>

（4）配置yarn-site.xml

在Hadoop的etc/hadoop目录下，编辑yarn-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
</configuration>

（5）配置mapred-site.xml

在Hadoop的etc/hadoop目录下，编辑mapred-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5、格式化NameNode

在主节点（node1）上，执行以下命令格式化NameNode：

hdfs namenode -format

6、启动Hadoop服务

在主节点（node1）上，启动Hadoop服务：

start-dfs.sh
start-yarn.sh

在从节点（node2和node3）上，启动DataNode和NodeManager：

start-dfs.sh
start-yarn.sh

7、验证Hadoop安装

在主节点（node1）上，使用JPS命令查看Hadoop进程是否启动：

jps

输出结果应包含以下进程：

NameNode
SecondaryNameNode
ResourceManager
NodeManager

在浏览器中访问http://node1:8088/和http://node1:8042/，分别查看HDFS和YARN的Web界面。

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括环境准备、安装JDK、下载和安装Hadoop、配置Hadoop、格式化NameNode、启动Hadoop服务以及验证Hadoop安装，通过本文的指导，读者可以轻松搭建Hadoop集群，为后续的大数据处理做好准备。