虚拟机安装hadoop安装详细步骤，深入解析，虚拟机环境下Hadoop的安装与配置步骤详解

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括深入解析安装过程中的关键细节，为读者提供了一步步的配置指南，确保Hadoop在虚拟机中顺利运行。

Hadoop作为一款分布式计算框架，已成为大数据处理领域的事实标准，本文将详细介绍在虚拟机环境下安装和配置Hadoop的详细步骤，旨在帮助读者快速掌握Hadoop的安装与配置。

准备工作

1、准备一台虚拟机，操作系统为Linux（本文以CentOS 7为例）。

2、下载Hadoop官方安装包，本文以Hadoop 3.2.1版本为例。

3、下载Java开发工具包（JDK），本文以JDK 1.8.0_251版本为例。

4、准备好SSH密钥，实现无密码登录。

安装步骤

1、安装JDK

（1）将JDK安装包上传至虚拟机，解压。

（2）设置环境变量，编辑/etc/profile文件：

vi /etc/profile

（3）添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

（4）使环境变量生效：

source /etc/profile

2、安装Hadoop

（1）将Hadoop安装包上传至虚拟机，解压。

（2）将Hadoop安装目录添加至环境变量，编辑/etc/profile文件：

vi /etc/profile

（3）添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin

（4）使环境变量生效：

source /etc/profile

3、配置Hadoop

（1）配置Hadoop环境变量，编辑/etc/profile文件：

vi /etc/profile

（2）添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin

（3）使环境变量生效：

source /etc/profile

（4）配置Hadoop配置文件：

a. 修改/usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/java/jdk1.8.0_251

b. 修改/usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml文件，设置Hadoop临时目录和HDFS存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

c. 修改/usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml文件，设置HDFS副本因子和存储目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.2.1/hdfs/data</value>
    </property>
</configuration>

d. 修改/usr/local/hadoop-3.2.1/etc/hadoop/yarn-site.xml文件，设置YARN资源管理器地址和历史服务器地址：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://master:19888/yarn/applicationhistory/logs</value>
    </property>
</configuration>

4、格式化HDFS

hdfs namenode -format

5、启动Hadoop服务

start-dfs.sh
start-yarn.sh

验证安装

1、访问HDFS Web界面：http://master:50070

2、访问YARN Web界面：http://master:8088

3、使用Hadoop命令行工具，

hdfs dfs -ls /

本文详细介绍了在虚拟机环境下安装和配置Hadoop的步骤，通过以上步骤，读者可以快速搭建一个Hadoop集群，为后续的大数据处理工作打下基础，在实际应用中，可根据具体需求对Hadoop进行扩展和优化。