虚拟机安装hadoop安装详细步骤图，虚拟机安装Hadoop详细步骤及图文教程

本文提供了虚拟机安装Hadoop的详细步骤及图文教程，包含安装步骤图解，帮助用户快速掌握Hadoop在虚拟机上的安装方法。

准备工作

1、下载Hadoop：我们需要下载Hadoop的安装包，可以从Hadoop官网（https://hadoop.apache.org/releases.html）下载最新版本的Hadoop。

2、准备虚拟机：在虚拟机软件（如VMware、VirtualBox等）中创建一个新的虚拟机，配置CPU、内存、硬盘等资源。

3、安装操作系统：在虚拟机中安装Linux操作系统，推荐使用CentOS 7。

安装JDK

1、下载JDK：从Oracle官网（https://www.oracle.com/java/technologies/javase-downloads.html）下载对应版本的JDK。

2、解压JDK：将下载的JDK安装包解压到虚拟机的指定目录下，例如/usr/local/。

3、设置环境变量：编辑/etc/profile文件，添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

4、使环境变量生效：在终端输入以下命令使环境变量生效：

source /etc/profile

5、验证JDK安装：在终端输入以下命令验证JDK是否安装成功：

java -version

安装Hadoop

1、解压Hadoop：将下载的Hadoop安装包解压到虚拟机的指定目录下，例如/usr/local/。

2、设置环境变量：编辑/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin

3、使环境变量生效：在终端输入以下命令使环境变量生效：

source /etc/profile

4、配置Hadoop：进入Hadoop的配置目录，执行以下命令：

cd /usr/local/hadoop-3.3.4/etc/hadoop

（1）配置hadoop-env.sh：编辑hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）配置core-site.xml：编辑core-site.xml文件，设置Hadoop的存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp</value>
    </property>
</configuration>

（3）配置hdfs-site.xml：编辑hdfs-site.xml文件，设置HDFS的存储目录：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
    </property>
</configuration>

（4）配置yarn-site.xml：编辑yarn-site.xml文件，设置YARN的存储目录：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

格式化HDFS

1、在终端输入以下命令格式化HDFS：

hadoop namenode -format

2、格式化完成后，输入以下命令启动Hadoop服务：

start-dfs.sh

3、查看Hadoop服务状态：

jps

安装Hadoop客户端

1、下载Hadoop客户端：从Hadoop官网下载对应版本的Hadoop客户端安装包。

2、解压Hadoop客户端：将下载的客户端安装包解压到虚拟机的指定目录下，例如/usr/local/。

3、设置环境变量：编辑/etc/profile文件，添加以下内容：

export HADOOP_CLIENT_HOME=/usr/local/hadoop-client-3.3.4
export PATH=$PATH:$HADOOP_CLIENT_HOME/bin

4、使环境变量生效：在终端输入以下命令使环境变量生效：

source /etc/profile

5、验证Hadoop客户端安装：在终端输入以下命令验证Hadoop客户端是否安装成功：

hadoop version

至此，虚拟机安装Hadoop的过程已经完成，您可以根据自己的需求，在Hadoop集群上运行各种大数据处理任务。