虚拟机安装hadoop安装详细步骤图，虚拟机环境下Hadoop安装与配置详细步骤解析

本文详细介绍了在虚拟机环境下安装和配置Hadoop的步骤，包括虚拟机安装和Hadoop安装与配置的详细步骤图解，为读者提供了清晰易懂的安装指南。

Hadoop是一个开源的分布式计算框架，它允许使用简单的编程模型跨大量计算机集群（数千台机器）分布式处理大规模数据集，本文将详细解析在虚拟机环境下安装Hadoop的步骤，帮助您快速搭建Hadoop集群。

准备工作

1、虚拟机软件：推荐使用VMware Workstation或VirtualBox等虚拟机软件。

2、操作系统：推荐使用CentOS 7.0 x64位操作系统。

3、Hadoop版本：本文以Hadoop 3.3.1版本为例。

4、Java环境：Hadoop依赖于Java环境，建议使用Java 8。

安装步骤

1、安装虚拟机

（1）下载并安装VMware Workstation或VirtualBox。

（2）创建一个新的虚拟机，选择Linux > CentOS 7.0 (64位)作为操作系统。

（3）分配足够的内存和CPU资源。

（4）完成虚拟机创建，启动虚拟机，按照提示完成安装。

2、配置虚拟机网络

（1）进入虚拟机，选择“设置”。

（2）选择“网络适配器”，选择“桥接模式”。

（3）选择“网络适配器”对应的桥接模式，选择“自动获取IP地址”。

3、安装Java环境

（1）在虚拟机中打开终端。

（2）输入以下命令，下载Java 8安装包：

wget http://download.oracle.com/otn-pub/java/jdk/8u191/b17/jdk-8u191-linux-x64.tar.gz

（3）解压安装包：

tar -xvf jdk-8u191-linux-x64.tar.gz -C /usr/local/

（4）设置环境变量：

echo 'export JAVA_HOME=/usr/local/jdk1.8.0_191' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

4、下载并安装Hadoop

（1）在虚拟机中打开终端。

（2）输入以下命令，下载Hadoop 3.3.1安装包：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

（3）解压安装包：

tar -xvf hadoop-3.3.1.tar.gz -C /usr/local/

（4）重命名Hadoop安装目录：

mv /usr/local/hadoop-3.3.1 /usr/local/hadoop

5、配置Hadoop

（1）编辑Hadoop配置文件：

cd /usr/local/hadoop/etc/hadoop

（2）修改以下配置文件：

- core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

- hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

- mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

- yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
</configuration>

（3）创建Hadoop目录：

mkdir -p /usr/local/hadoop/hdfs/namenode
mkdir -p /usr/local/hadoop/hdfs/datanode

6、格式化NameNode

（1）在虚拟机中打开终端。

（2）进入Hadoop安装目录：

cd /usr/local/hadoop

（3）格式化NameNode：

bin/hdfs namenode -format

7、启动Hadoop服务

（1）在虚拟机中打开终端。

（2）进入Hadoop安装目录：

cd /usr/local/hadoop

（3）启动Hadoop服务：

sbin/start-dfs.sh

（4）启动YARN服务：

sbin/start-yarn.sh

8、验证Hadoop安装

（1）在虚拟机中打开终端。

（2）进入Hadoop安装目录：

cd /usr/local/hadoop

（3）执行以下命令，查看Hadoop进程：

jps

如果成功安装Hadoop，应该会看到NameNode、DataNode、SecondaryNameNode和ResourceManager等进程。

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括安装虚拟机、配置网络、安装Java环境、下载并安装Hadoop、配置Hadoop、格式化NameNode、启动Hadoop服务以及验证Hadoop安装，希望本文能帮助您快速搭建Hadoop集群。