虚拟机安装hadoop安装详细步骤图

本文详细介绍了在虚拟机上安装Hadoop的步骤，包含安装前准备、环境配置、Hadoop核心组件安装以及配置文件调整等关键环节，并附有安装步骤的详细图解，帮助用户顺利完成Hadoop的部署。

基于虚拟机环境的Hadoop分布式计算平台安装详细教程

一、前言

Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集，本文将详细介绍如何在虚拟机环境中安装Hadoop，包括环境准备、配置步骤以及测试验证等环节，以下是详细的安装步骤。

二、环境准备

1. 虚拟机软件：VMware Workstation、VirtualBox等。

2. 操作系统：CentOS 7.x（推荐64位）。

3. JDK：Java Development Kit，版本为1.8。

4. Hadoop版本：Hadoop-3.2.1（可根据需要选择其他版本）。

5. 网络配置：确保虚拟机网络设置为桥接模式，并与宿主机在同一网络环境下。

三、安装步骤

1. 安装JDK

（1）下载JDK安装包：前往Oracle官网下载JDK 1.8安装包。

（2）解压安装包：将下载的JDK安装包解压到虚拟机中的合适位置，/usr/local/jdk1.8.0_241。

（3）配置环境变量：打开终端，编辑~/.bashrc文件，添加以下内容：

```

export JAVA_HOME=/usr/local/jdk1.8.0_241

export PATH=$JAVA_HOME/bin:$PATH

```

保存并退出编辑器。

（4）使环境变量生效：在终端执行以下命令：

```

source ~/.bashrc

```

2. 安装Hadoop

（1）下载Hadoop安装包：前往Apache Hadoop官网下载Hadoop-3.2.1安装包。

（2）解压安装包：将下载的Hadoop安装包解压到虚拟机中的合适位置，/usr/local/hadoop-3.2.1。

（3）配置Hadoop环境变量：编辑~/.bashrc文件，添加以下内容：

```

export HADOOP_HOME=/usr/local/hadoop-3.2.1

export PATH=$HADOOP_HOME/bin:$PATH

```

保存并退出编辑器。

（4）使环境变量生效：在终端执行以下命令：

```

source ~/.bashrc

```

3. 配置Hadoop

（1）修改hadoop配置文件：进入Hadoop安装目录下的etc/hadoop目录，修改以下配置文件。

a. core-site.xml：

```xml

```

b. hdfs-site.xml：

```xml

```

c. mapred-site.xml：

```xml

```

d. yarn-site.xml：

```xml

```

（2）创建Hadoop目录：在虚拟机中创建以下目录：

```

mkdir -p /usr/local/hadoop-3.2.1/data

mkdir -p /usr/local/hadoop-3.2.1/logs

```

（3）配置SSH免密登录：在虚拟机中，为所有节点配置SSH免密登录。

a. 生成SSH密钥：在master节点上执行以下命令：

```

ssh-keygen -t rsa -P '' -C 'your_email@example.com'

```

b. 将公钥复制到其他节点：在master节点上执行以下命令，将公钥复制到所有节点。

```

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2

```

4. 格式化HDFS

在master节点上执行以下命令，格式化HDFS：

```

hdfs namenode -format

```

5. 启动Hadoop服务

（1）启动HDFS：在master节点上执行以下命令：

```

start-dfs.sh

```

（2）启动YARN：在master节点上执行以下命令：

```

start-yarn.sh

```

四、测试验证

1. 查看HDFS状态：在master节点上执行以下命令，查看HDFS状态：

```

jps

```

2. 访问Hadoop Web界面：在浏览器中输入以下地址，访问Hadoop Web界面：

```

http://master:9870

```

3. 查看YARN状态：在浏览器中输入以下地址，查看YARN状态：

```

http://master:8088

```

五、总结

通过以上步骤，您已经在虚拟机环境中成功安装了Hadoop分布式计算平台，您可以根据自己的需求，进行Hadoop的进一步学习和使用。