虚拟机安装hadoop安装详细步骤图，详细攻略，在虚拟机中安装Hadoop的完整步骤解析

本文详细介绍了在虚拟机中安装Hadoop的完整步骤，包括安装前的准备工作、安装过程中的详细步骤图和攻略，旨在帮助读者轻松掌握Hadoop在虚拟机中的安装方法。

随着大数据时代的到来，Hadoop作为一款开源的分布式计算框架，已经成为处理大规模数据集的利器，本文将详细解析如何在虚拟机中安装Hadoop，包括准备工作、环境搭建、配置文件编辑、集群启动等步骤，旨在帮助读者顺利搭建自己的Hadoop环境。

准备工作

1、获取Hadoop安装包

需要从Apache Hadoop官网（https://hadoop.apache.org/releases.html）下载适合自己虚拟机环境的Hadoop安装包，本文以Hadoop 3.3.4版本为例。

2、安装虚拟机

选择一款合适的虚拟机软件，如VMware、VirtualBox等，创建一个新的虚拟机，配置虚拟机时，内存至少需要4GB，硬盘至少需要30GB。

3、安装Java

Hadoop依赖于Java运行环境，因此需要确保虚拟机中已安装Java，可以从Oracle官网（https://www.oracle.com/java/technologies/javase-downloads.html）下载Java安装包，并按照提示进行安装。

环境搭建

1、解压Hadoop安装包

将下载的Hadoop安装包解压到虚拟机的某个目录下，例如/opt/hadoop。

2、配置环境变量

在虚拟机的/etc/profile文件中添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使用source /etc/profile命令使环境变量生效。

3、配置SSH免密登录

在虚拟机中生成密钥对：

ssh-keygen -t rsa -P '' -C ''

将生成的公钥文件~/.ssh/id_rsa.pub复制到虚拟机的~/.ssh/authorized_keys文件中。

配置文件编辑

1、配置hadoop-env.sh

在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中，设置Java的安装路径：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2、配置core-site.xml

在$HADOOP_HOME/etc/hadoop/core-site.xml文件中，配置Hadoop的运行环境：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

3、配置hdfs-site.xml

在$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中，配置HDFS的运行环境：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/datanode</value>
    </property>
</configuration>

4、配置mapred-site.xml

在$HADOOP_HOME/etc/hadoop/mapred-site.xml文件中，配置MapReduce的运行环境：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5、配置yarn-site.xml

在$HADOOP_HOME/etc/hadoop/yarn-site.xml文件中，配置YARN的运行环境：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

集群启动

1、格式化NameNode

在虚拟机中，使用以下命令格式化NameNode：

hdfs namenode -format

2、启动HDFS

使用以下命令启动HDFS：

start-dfs.sh

3、启动YARN

使用以下命令启动YARN：

start-yarn.sh

4、检查集群状态

使用以下命令检查集群状态：

jps

虚拟机中应该有NameNode、SecondaryNameNode、DataNode、NodeManager、ResourceManager、ApplicationMaster、NodeManager等进程在运行。

至此，Hadoop集群已成功搭建，可以尝试使用Hadoop的各种工具和组件处理大数据。

本文详细解析了在虚拟机中安装Hadoop的完整步骤，包括准备工作、环境搭建、配置文件编辑、集群启动等，希望本文对您搭建自己的Hadoop环境有所帮助，在实践过程中，如遇到问题，可以查阅相关资料或寻求技术支持，祝您学习愉快！