虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop集群安装与配置详解

本文详细介绍了在虚拟机环境下安装和配置Hadoop集群的步骤，包括虚拟机环境搭建、Hadoop安装包下载、集群配置、环境变量设置等关键环节，为读者提供了全面的Hadoop集群搭建指南。

环境准备

1. 操作系统：选择一个Linux发行版，如CentOS 7.6。
2. 虚拟机：使用VMware Workstation或VirtualBox等虚拟机软件创建虚拟机。
3. 网络配置：确保虚拟机网络配置为桥接模式,以便与宿主机在同一网络环境下。
4. JDK：下载并安装JDK 1.8或更高版本,配置环境变量。

Hadoop下载与解压

1. 下载Hadoop：访问Hadoop官网（https://hadoop.apache.org/）下载最新版本的Hadoop。
2. 解压Hadoop：将下载的Hadoop压缩包解压到虚拟机的指定目录，如/opt/hadoop。

配置Hadoop环境

图片来源于网络，如有侵权联系删除

配置环境变量

编辑~/.bash_profile文件,添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置hadoop配置文件

进入Hadoop的etc/hadoop目录,修改以下配置文件：

（1）core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data</value>
    </property>
</configuration>

（2）hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/data/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/data/hdfs/data</value>
    </property>
</configuration>

（3）mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）yarn-site.xml：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

格式化NameNode

在终端输入以下命令,格式化NameNode：

hadoop namenode -format

启动Hadoop集群

启动HDFS

图片来源于网络，如有侵权联系删除

start-dfs.sh

启动YARN

start-yarn.sh

启动HistoryServer

mr-jobhistory-daemon.sh start historyserver

验证Hadoop集群

查看HDFS状态

在浏览器中输入http://localhost:50070,查看HDFS状态。

查看YARN状态

在浏览器中输入http://localhost:8088,查看YARN状态。

查看HistoryServer状态

在浏览器中输入http://localhost:19888,查看HistoryServer状态。

本文详细介绍了在虚拟机环境下安装Hadoop集群的步骤，通过以上步骤，您可以在虚拟机中成功搭建一个Hadoop集群，为后续的大数据处理项目奠定基础，在实际应用中，您可以根据需要调整Hadoop集群的配置,以满足不同的业务需求。