虚拟机安装hadoop安装详细步骤，基于虚拟机环境下的Hadoop安装与配置详解

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括安装前的准备工作、配置文件修改、Hadoop服务启动与验证等环节，旨在帮助读者快速掌握Hadoop在虚拟机环境下的安装与配置。

Hadoop作为一款分布式存储和计算框架，已经成为大数据领域的主流技术之一，本文将详细介绍如何在虚拟机环境下安装Hadoop，并对其进行配置，使读者能够轻松掌握Hadoop的安装与配置过程。

环境准备

1、操作系统：Linux（推荐使用CentOS 7）

2、虚拟机软件：VMware Workstation、VirtualBox等

3、Hadoop版本：本文以Hadoop 3.2.1为例

4、JDK版本：推荐使用1.8版本

安装步骤

1、创建虚拟机

（1）打开虚拟机软件，点击“创建新的虚拟机”；

（2）选择“自定义（高级）”，点击“下一步”；

（3）选择“Linux”，然后选择“CentOS 7 64位（推荐）”，点击“下一步”；

（4）设置虚拟机名称、存储位置等参数，点击“下一步”；

（5）设置虚拟机内存、处理器等硬件资源，点击“下一步”；

（6）创建虚拟硬盘，设置硬盘大小、存储模式等参数，点击“下一步”；

（7）点击“完成”，完成虚拟机的创建。

2、安装JDK

（1）在虚拟机中，使用root用户登录；

（2）下载JDK安装包：https://www.oracle.com/java/technologies/javase-downloads.html

（3）使用wget命令下载JDK安装包：wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz

（4）解压JDK安装包：tar -xvf jdk-17_linux-x64_bin.tar.gz

（5）将JDK移动到系统目录下：mv jdk-17_linux-x64_bin /usr/local

（6）设置JDK环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk-17
export PATH=$JAVA_HOME/bin:$PATH

（7）使环境变量生效：source /etc/profile

3、安装Hadoop

（1）下载Hadoop安装包：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/

（2）使用wget命令下载Hadoop安装包：wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

（3）解压Hadoop安装包：tar -xvf hadoop-3.2.1.tar.gz

（4）将Hadoop移动到系统目录下：mv hadoop-3.2.1 /usr/local

（5）设置Hadoop环境变量：编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$HADOOP_HOME/bin:$PATH

（6）使环境变量生效：source /etc/profile

4、配置Hadoop

（1）编辑/usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk-17

（2）编辑/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件，设置Hadoop存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（3）编辑/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件，设置HDFS存储目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/datanode</value>
    </property>
</configuration>

（4）编辑/usr/local/hadoop-3.2.1/etc/hadoop/mapred-site.xml文件，设置MapReduce运行模式：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）编辑/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件，设置YARN资源管理器地址：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

5、格式化HDFS

（1）在虚拟机中，使用root用户登录；

（2）进入Hadoop目录：cd /usr/local/hadoop-3.2.1

（3）执行格式化HDFS命令：hdfs namenode -format

6、启动Hadoop服务

（1）启动HDFS：start-dfs.sh

（2）启动YARN：start-yarn.sh

7、验证Hadoop安装

（1）打开浏览器，输入：http://localhost:9870/，查看HDFS Web界面；

（2）打开浏览器，输入：http://localhost:8088/，查看YARN Web界面。

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括环境准备、安装JDK、安装Hadoop、配置Hadoop、格式化HDFS、启动Hadoop服务以及验证Hadoop安装，通过本文的指导，读者可以轻松掌握Hadoop的安装与配置过程。