虚拟机安装hadoop安装详细步骤，深入浅出，虚拟机中Hadoop安装详细步骤及配置详解

本文详细介绍了在虚拟机中安装Hadoop的步骤，包括安装过程及配置详解，旨在帮助读者深入浅出地掌握Hadoop的安装与配置。

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，已经广泛应用于各个领域，本文将详细介绍如何在虚拟机中安装Hadoop，包括环境搭建、Hadoop安装、配置及测试等步骤。

环境搭建

准备虚拟机

（1）选择虚拟机软件：VMware Workstation、VirtualBox等。

图片来源于网络，如有侵权联系删除

（2）创建虚拟机：根据实际需求配置CPU、内存、硬盘等参数。

（3）安装操作系统：选择Linux操作系统，如CentOS、Ubuntu等。

安装Java

（1）打开终端,输入以下命令安装Java：

sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

（2）验证Java版本：

java -version

安装SSH服务

（1）打开终端,输入以下命令安装SSH服务：

sudo yum install -y openssh-server

（2）启动SSH服务：

sudo systemctl start sshd

（3）设置SSH服务开机自启：

sudo systemctl enable sshd

Hadoop安装

下载Hadoop

（1）进入Hadoop官网（https://hadoop.apache.org/）,下载Hadoop安装包。

（2）解压安装包：

tar -zxvf hadoop-3.3.4.tar.gz -C /opt/hadoop

配置Hadoop

（1）进入Hadoop安装目录：

cd /opt/hadoop

（2）将hadoop安装目录添加到环境变量：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（3）创建Hadoop运行用户：

sudo groupadd hadoop
sudo useradd -g hadoop hadoop

（4）修改Hadoop配置文件：

（a）修改/opt/hadoop/etc/hadoop/core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

（b）修改/opt/hadoop/etc/hadoop/hdfs-site.xml：

图片来源于网络，如有侵权联系删除

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（c）修改/opt/hadoop/etc/hadoop/yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

（5）初始化HDFS：

sudo -u hadoop /opt/hadoop/bin/hdfs namenode -format

Hadoop配置详解

core-site.xml

（1）fs.defaultFS：Hadoop默认文件系统,如HDFS。

（2）hadoop.tmp.dir：Hadoop临时目录,如HDFS的临时目录。

hdfs-site.xml

（1）dfs.replication：HDFS数据副本数量。

（2）dfs.namenode.name.dir：NameNode的存储目录。

（3）dfs.datanode.data.dir：DataNode的存储目录。

yarn-site.xml

（1）yarn.resourcemanager.hostname：ResourceManager的主机名。

（2）yarn.nodemanager.aux-services：NodeManager提供的服务,如MapReduce。

Hadoop测试

启动Hadoop服务

sudo -u hadoop /opt/hadoop/sbin/start-dfs.sh
sudo -u hadoop /opt/hadoop/sbin/start-yarn.sh

验证Hadoop服务

（1）查看HDFS文件系统：

hdfs dfs -ls /

（2）查看YARN资源管理器：

yarn rmadmin -listNodes

本文详细介绍了在虚拟机中安装Hadoop的步骤，包括环境搭建、Hadoop安装、配置及测试等，通过本文的学习，读者可以轻松地搭建自己的Hadoop集群,为后续的大数据处理打下基础。