虚拟机安装hadoop安装详细步骤图，基于虚拟机的Hadoop环境搭建与配置详细步骤解析

本文详细解析了基于虚拟机的Hadoop环境搭建与配置过程，包括虚拟机安装Hadoop的详细步骤图，涵盖了从环境准备到配置文件调整的各个环节，旨在帮助读者快速搭建并配置Hadoop集群。

Hadoop是一个开源的分布式计算框架，用于在大量计算机上处理大规模数据集，本文将详细讲解如何在虚拟机上安装Hadoop环境，并对其进行配置，使读者能够轻松上手Hadoop。

安装环境

1、操作系统：CentOS 7

2、虚拟机软件：VMware Workstation

3、Hadoop版本：Hadoop 3.3.4

安装步骤

1、配置虚拟机

（1）在VMware Workstation中创建一个CentOS 7虚拟机。

（2）分配足够的内存和CPU资源。

（3）选择合适的磁盘大小，并设置虚拟硬盘为“分配所有空间立即”。

（4）设置网络类型为“桥接模式”，确保虚拟机可以访问外部网络。

（5）完成虚拟机创建后，启动虚拟机并按照提示安装CentOS 7。

2、安装Java环境

（1）打开终端，输入以下命令安装Java：

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

（2）检查Java版本，确保安装成功：

java -version

3、安装Hadoop

（1）在虚拟机中下载Hadoop 3.3.4版本：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

（2）解压Hadoop安装包：

tar -zxvf hadoop-3.3.4.tar.gz -C /opt/

（3）将Hadoop安装路径添加到环境变量中：

export HADOOP_HOME=/opt/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4）设置Hadoop配置文件：

（a）修改/opt/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件，设置Java环境变量：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.x86_64

（b）修改/opt/hadoop-3.3.4/etc/hadoop/core-site.xml文件，设置Hadoop运行的主机名：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-3.3.4/tmp</value>
  </property>
</configuration>

（c）修改/opt/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件，设置HDFS存储路径：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-3.3.4/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-3.3.4/hdfs/datanode</value>
  </property>
</configuration>

（d）修改/opt/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件，设置YARN资源管理器：

<configuration>
  <property>
    <name>yarn.resourcemanager.host</name>
    <value>hadoop01</value>
  </property>
</configuration>

4、格式化HDFS

（1）格式化HDFS文件系统：

hdfs namenode -format

（2）启动Hadoop服务：

start-dfs.sh
start-yarn.sh

5、测试Hadoop环境

（1）打开浏览器，访问Hadoop Web UI：

http://hadoop01:50070

（2）打开浏览器，访问YARN Web UI：

http://hadoop01:8088

本文详细介绍了如何在虚拟机上安装Hadoop环境，并对其进行配置，通过以上步骤，读者可以轻松搭建Hadoop环境，为后续学习和实践打下基础，在实际应用中，可以根据需要调整Hadoop配置，以满足不同场景的需求。