虚拟机安装hadoop安装详细步骤图，虚拟机环境下一站式Hadoop安装指南与详细步骤图解

提供虚拟机安装Hadoop的详细步骤图，包括一站式安装指南与步骤图解，帮助用户快速掌握Hadoop在虚拟机环境下的安装过程。

随着大数据时代的到来，Hadoop作为一款分布式存储和计算框架，已经成为处理海量数据的重要工具，本文将详细介绍在虚拟机环境中安装Hadoop的步骤，并提供详细的步骤图解，帮助读者轻松上手。

环境准备

1、虚拟机软件：如VMware、VirtualBox等。

2、操作系统：推荐使用CentOS 7.x或Ubuntu 18.04等Linux发行版。

3、Hadoop版本：本文以Hadoop 3.2.1为例。

安装步骤

1、配置虚拟机

（1）创建虚拟机，选择Linux发行版，如CentOS 7.x。

（2）分配内存和CPU资源，根据实际情况进行调整。

（3）创建虚拟硬盘，选择“固定大小”或“动态分配”，大小至少为50GB。

2、安装JDK

（1）下载JDK安装包，如jdk-8u231-linux-x64.tar.gz。

（2）将JDK安装包上传到虚拟机中。

（3）解压JDK安装包：tar -zxvf jdk-8u231-linux-x64.tar.gz

（4）设置JDK环境变量：编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

（5）使环境变量生效：source ~/.bash_profile

3、安装Hadoop

（1）下载Hadoop安装包，如hadoop-3.2.1.tar.gz。

（2）将Hadoop安装包上传到虚拟机中。

（3）解压Hadoop安装包：tar -zxvf hadoop-3.2.1.tar.gz

（4）设置Hadoop环境变量：编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（5）使环境变量生效：source ~/.bash_profile

4、配置Hadoop

（1）编辑hadoop配置文件：cd $HADOOP_HOME/etc/hadoop

（2）修改hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/java/jdk1.8.0_231

（3）修改core-site.xml文件，设置Hadoop临时目录和HDFS存储目录：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.1/tmp</value>
  </property>
</configuration>

（4）修改hdfs-site.xml文件，设置HDFS存储格式为HDFS 3.x：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.datanode.max.xcievers</name>
    <value>500</value>
  </property>
</configuration>

（5）修改mapred-site.xml文件，设置MapReduce框架为YARN：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（6）修改yarn-site.xml文件，设置YARN资源管理器地址：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

5、格式化HDFS

格式化HDFS文件系统，以创建必要的文件：

hdfs namenode -format

6、启动Hadoop服务

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

start-yarn.sh

7、验证Hadoop安装

（1）查看HDFS状态：

jps

应看到NameNode和DataNode进程。

（2）查看YARN状态：

yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager

应看到ResourceManager和NodeManager进程。

至此，Hadoop已成功安装在虚拟机环境中，您可以使用Hadoop自带的示例程序进行测试，如运行WordCount程序等。

本文详细介绍了在虚拟机环境中安装Hadoop的步骤，包括环境准备、安装JDK、安装Hadoop、配置Hadoop、格式化HDFS、启动Hadoop服务和验证Hadoop安装，希望本文能帮助您轻松上手Hadoop，为后续的大数据处理打下坚实基础。