虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop集群搭建详细步骤解析

本文详细解析了在虚拟机环境下安装Hadoop并搭建集群的步骤，包括虚拟机配置、Hadoop安装、配置文件修改、集群启动等环节，为读者提供了全面的Hadoop集群搭建指南。

环境准备

1、操作系统：CentOS 7.4 x64

2、虚拟机软件：VMware Workstation Pro

3、Hadoop版本：Hadoop 3.2.1

虚拟机配置

1、创建虚拟机：打开VMware Workstation Pro，点击“创建新的虚拟机”，选择“自定义（高级）”，然后依次点击“下一步”。

2、选择操作系统：选择“Linux”，然后选择“CentOS 7.64位（64位）”作为安装的操作系统。

3、分配磁盘空间：根据实际需求分配磁盘空间，建议至少40GB。

4、选择网络类型：选择“桥接模式”，使虚拟机可以访问外部网络。

5、创建虚拟机：点击“完成”创建虚拟机。

CentOS系统配置

1、设置静态IP地址：打开终端，编辑/etc/sysconfig/network-scripts/ifcfg-ens33如下：

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=0e1e4f4b-0e1c-4e06-8d1c-3e5eb2a2b4f5
ONBOOT=yes
IPADDR=192.168.1.100
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
DNS2=8.8.4.4

2、重启网络服务：运行命令systemctl restart network使配置生效。

3、设置主机名：运行命令hostnamectl set-hostname hadoop1，将主机名设置为hadoop1。

4、配置hosts文件：编辑/etc/hosts文件，添加以下内容：

192、168.1.100 hadoop1
192、168.1.101 hadoop2
192、168.1.102 hadoop3

5、安装JDK：运行以下命令安装JDK：

sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

6、配置环境变量：编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64
export PATH=$JAVA_HOME/bin:$PATH

7、使环境变量生效：运行命令source ~/.bash_profile。

Hadoop集群搭建

1、下载Hadoop：从Apache Hadoop官网下载Hadoop 3.2.1版本，解压到/opt/hadoop目录。

2、配置Hadoop环境变量：编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、使环境变量生效：运行命令source ~/.bash_profile。

4、配置Hadoop：进入/opt/hadoop/etc/hadoop目录，进行以下配置：

（1）编辑core-site.xml如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

（2）编辑hdfs-site.xml如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/datanode</value>
    </property>
</configuration>

（3）编辑mapred-site.xml如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）编辑yarn-site.xml如下：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>

5、格式化NameNode：在hadoop1节点上运行以下命令：

hadoop namenode -format

6、启动Hadoop服务：在hadoop1节点上运行以下命令：

start-dfs.sh
start-yarn.sh

7、验证Hadoop集群：在hadoop1节点上运行以下命令，查看HDFS和YARN状态：

jps

应该可以看到NameNode、SecondaryNameNode、ResourceManager、NodeManager等进程。

本文详细介绍了在虚拟机环境下搭建Hadoop集群的步骤，包括环境准备、虚拟机配置、CentOS系统配置和Hadoop集群搭建，读者可以根据本文的步骤，成功搭建自己的Hadoop集群，为后续的数据处理和分析打下基础。