虚拟机安装hadoop安装详细步骤，虚拟机安装Hadoop详解，从环境搭建到集群部署

本文详细介绍了在虚拟机上安装Hadoop的步骤，包括环境搭建和集群部署。从基础设置到配置文件调整，再到Hadoop服务启动与验证，提供了全面而实用的操作指南。

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，被广泛应用于各种场景，本文将详细讲解在虚拟机中安装Hadoop的步骤，包括环境搭建、配置文件修改、集群部署等。

准备工作

1、准备虚拟机：建议使用CentOS 7.0或Ubuntu 18.04等Linux发行版，推荐内存至少为4GB，CPU至少为2核。

2、安装VMware或VirtualBox等虚拟机软件。

3、下载Hadoop安装包：访问Hadoop官网（https://hadoop.apache.org/）下载最新版本的Hadoop安装包。

4、下载Java SDK：Hadoop依赖于Java运行环境，访问Oracle官网（https://www.oracle.com/java/technologies/javase-downloads.html）下载Java SDK。

安装Hadoop

1、解压Hadoop安装包：在虚拟机中创建一个目录用于存放Hadoop安装包，hadoop-3.3.4，然后解压下载的Hadoop安装包到该目录。

2、配置环境变量：打开终端，编辑.bashrc文件（vi ~/.bashrc），添加以下内容：

export HADOOP_HOME=/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出编辑器，然后在终端中执行以下命令使配置生效：

source ~/.bashrc

3、配置Java环境：编辑hadoop配置文件hadoop-env.sh（vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh），设置JAVA_HOME变量：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.x86_64

保存并退出编辑器。

配置Hadoop

1、配置集群类型：根据实际需求选择单机模式或集群模式，本文以集群模式为例。

2、配置文件：

（1）core-site.xml：设置Hadoop运行时的基本参数，如HDFS的文件存储目录、临时目录等。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop-3.3.4/tmp</value>
    </property>
</configuration>

（2）hdfs-site.xml：配置HDFS参数，如数据块大小、副本数量等。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.block.size</name>
        <value>128M</value>
    </property>
</configuration>

（3）mapred-site.xml：配置MapReduce参数，如MapReduce程序运行时的数据存储路径等。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）yarn-site.xml：配置YARN参数，如资源管理器地址、应用程序资源管理等。

<configuration>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

3、创建HDFS目录：在终端中执行以下命令，创建HDFS目录：

hadoop fs -mkdir -p /tmp
hadoop fs -mkdir -p /user
hadoop fs -mkdir -p /user/hadoop
hadoop fs -chmod -R 777 /tmp
hadoop fs -chmod -R 777 /user
hadoop fs -chmod -R 777 /user/hadoop

启动Hadoop集群

1、格式化HDFS：在终端中执行以下命令，格式化HDFS：

hadoop namenode -format

2、启动HDFS：在终端中执行以下命令，启动HDFS：

start-dfs.sh

3、启动YARN：在终端中执行以下命令，启动YARN：

start-yarn.sh

4、查看Hadoop进程：在终端中执行以下命令，查看Hadoop进程是否正常运行：

jps

测试Hadoop集群

1、在虚拟机中打开浏览器，访问http://master:50070，查看HDFS Web界面。

2、在虚拟机中打开浏览器，访问http://master:8088，查看YARN Web界面。

3、在终端中执行以下命令，创建一个简单的WordCount程序：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /tmp/hadoop_example.txt /user/hadoop/output

4、在终端中执行以下命令，查看WordCount程序的运行结果：

hadoop fs -cat /user/hadoop/output/

至此，Hadoop集群安装完成，您可以根据实际需求进行更多操作，如配置HBase、Hive等组件，实现大数据处理和分析。