虚拟机安装hadoop教程，虚拟机安装Hadoop详细教程，从环境搭建到集群配置

本教程详细介绍了在虚拟机上安装Hadoop的步骤，包括环境搭建和集群配置，从基础环境准备到Hadoop集群的搭建，涵盖全面，适合初学者学习。

Hadoop作为一款分布式计算框架，广泛应用于大数据处理领域，本文将详细介绍如何在虚拟机中安装Hadoop，包括环境搭建、集群配置等步骤，以下教程以CentOS 7.0系统为例，使用Hadoop 3.2.1版本。

环境搭建

准备工作

（1）下载Hadoop：前往Hadoop官网（https://hadoop.apache.org/）下载Hadoop 3.2.1版本安装包。

（2）创建虚拟机：在虚拟机软件（如VMware、VirtualBox）中创建一个CentOS 7.0虚拟机。

图片来源于网络，如有侵权联系删除

（3）配置虚拟机：设置虚拟机内存、CPU、硬盘等资源,确保能满足Hadoop运行需求。

安装JDK

Hadoop依赖于Java环境,因此需要先安装JDK。

（1）下载JDK：前往Oracle官网（https://www.oracle.com/java/technologies/javase-downloads.html）下载适用于CentOS 7.0的JDK安装包。

（2）安装JDK：

a. 解压JDK安装包到指定目录，如：/usr/local/jdk1.8.0_251

b. 设置环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251 export PATH=$PATH:$JAVA_HOME/bin

c. 使环境变量生效：

source /etc/profile

d. 验证JDK安装：

java -version

安装Hadoop

（1）上传Hadoop安装包到虚拟机：使用SFTP或SCP等工具将Hadoop安装包上传到虚拟机。

（2）解压Hadoop安装包：

tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/

（3）设置环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1 export PATH=$PATH:$HADOOP_HOME/bin

（4）使环境变量生效：

source /etc/profile

（5）验证Hadoop安装：

hadoop version

集群配置

配置文件

Hadoop的配置文件主要位于Hadoop安装目录下的etc/hadoop目录中。

单机模式

（1）编辑hadoop-env.sh：

vi /usr/local/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

设置Java环境：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）编辑core-site.xml：

vi /usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml

fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir /usr/local/hadoop-3.2.1/tmp

（3）编辑hdfs-site.xml：

vi /usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir /usr/local/hadoop-3.2.1/hdfs/namenode dfs.datanode.data.dir /usr/local/hadoop-3.2.1/hdfs/datanode

（4）编辑mapred-site.xml：

图片来源于网络，如有侵权联系删除

vi /usr/local/hadoop-3.2.1/etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn

格式化NameNode

hdfs namenode -format

启动Hadoop服务

start-dfs.sh

start-yarn.sh

验证Hadoop集群

访问Hadoop Web界面：http://虚拟机IP:50070

访问YARN Web界面：http://虚拟机IP:8088

集群模式

配置文件

集群模式下，需要配置多个节点，包括NameNode、DataNode、ResourceManager、NodeManager等。

配置节点

（1）编辑hadoop-env.sh：

设置Java环境：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）编辑core-site.xml：

设置HDFS的默认FS：

fs.defaultFS hdfs://hadoop01:9000

设置Hadoop临时目录：

hadoop.tmp.dir /usr/local/hadoop-3.2.1/tmp

（3）编辑hdfs-site.xml：

设置副本因子：

dfs.replication 2

设置NameNode和DataNode的存储目录：

dfs.namenode.name.dir /usr/local/hadoop-3.2.1/hdfs/namenode dfs.datanode.data.dir /usr/local/hadoop-3.2.1/hdfs/datanode

（4）编辑yarn-site.xml：

设置ResourceManager的地址：

yarn.resourcemanager.hostname hadoop01

设置NodeManager的地址：

yarn.nodemanager.hostname hadoop02

（5）编辑mapred-site.xml：

设置MapReduce框架为YARN：

mapreduce.framework.name yarn

格式化NameNode

在NameNode节点上执行以下命令：

hdfs namenode -format

启动Hadoop服务

在所有节点上执行以下命令：

start-dfs.sh

start-yarn.sh

验证Hadoop集群

访问Hadoop Web界面：http://hadoop01:50070

访问YARN Web界面：http://hadoop01:8088

本文详细介绍了在虚拟机中安装Hadoop的步骤，包括环境搭建、集群配置等，通过本文的教程，读者可以轻松搭建一个Hadoop集群,为后续的大数据处理工作打下基础。