虚拟机里怎么搭建hadoop，虚拟机安装hadoop安装详细步骤

***：本文聚焦于虚拟机中搭建Hadoop的内容，旨在阐述虚拟机安装Hadoop的详细步骤。可能会涉及到虚拟机的前期准备工作，如创建合适的虚拟机环境、配置相关参数等。接着会详细说明Hadoop安装流程，包括软件的获取、安装文件的配置、各组件的部署以及环境变量的设置等一系列操作步骤，以帮助使用者顺利在虚拟机中构建起Hadoop系统。

本文目录导读：

1. 环境准备
2. 安装JDK
3. 安装Hadoop
4. 格式化HDFS
5. 启动Hadoop服务
6. 测试Hadoop安装

虚拟机中搭建Hadoop详细步骤

环境准备

1、虚拟机软件选择与安装

- 推荐使用VMware Workstation或VirtualBox，这里以VMware Workstation为例，下载安装包后，按照安装向导进行安装，在安装过程中注意选择合适的安装路径和相关组件。

2、操作系统安装

- 在虚拟机中安装Linux操作系统，如CentOS或Ubuntu，以CentOS 7为例，下载CentOS 7的镜像文件，在VMware中创建新的虚拟机，选择“典型（推荐）”或“自定义（高级）”安装类型。

- 在自定义安装中，可以设置虚拟机的硬件参数，如内存大小（建议至少2GB）、硬盘大小（建议至少20GB）等。

- 安装过程中，按照提示设置语言、时区、分区等信息，完成CentOS 7的安装。

安装JDK

1、下载JDK

- 前往Oracle官网下载适用于Linux的JDK版本，如JDK 8。

2、安装JDK

- 在CentOS 7中，创建一个目录，如/usr/java，用于存放JDK。

- 使用tar -zxvf命令解压下载的JDK压缩包到/usr/java目录下。

- 配置环境变量，编辑/etc/profile文件，添加以下内容：

```bash

export JAVA_HOME=/usr/java/jdk1.8.0_XXX（这里替换为实际的JDK版本目录）

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

```

- 使环境变量生效，执行source /etc/profile命令。

安装Hadoop

1、下载Hadoop

- 前往Hadoop官方网站下载稳定版本的Hadoop，如Hadoop 3.x。

2、安装Hadoop

- 在CentOS 7中创建一个目录，如/usr/local/hadoop，使用tar -zxvf命令解压Hadoop压缩包到该目录下。

- 配置Hadoop环境变量，编辑/etc/profile文件，添加以下内容：

```bash

export HADOOP_HOME=/usr/local/hadoop/hadoop - 3.x.xx（这里替换为实际的Hadoop版本目录）

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

```

- 使环境变量生效，执行source /etc/profile命令。

3、配置Hadoop核心文件

- 编辑$HADOOP_HOME/etc/hadoop/hadoop - env.sh文件，设置JAVA_HOME变量，确保其指向正确的JDK安装目录。

- 配置core - site.xml文件，

```xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

```

- 配置hdfs - site.xml文件，如：

```xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/data/namenode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/hadoop/data/datanode</value>

</property>

</configuration>

```

- 配置mapred - site.xml文件，

```xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

```

- 配置yarn - site.xml文件，如：

```xml

<configuration>

<property>

<name>yarn.nodemanager.aux - services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

</configuration>

```

格式化HDFS

1、在安装好Hadoop并配置好相关文件后，需要对HDFS进行格式化。

- 执行命令hdfs namenode - format，如果格式化成功，会显示相关的成功信息。

启动Hadoop服务

1、启动HDFS服务

- 执行start - dfs.sh命令，启动NameNode和DataNode服务，可以通过jps命令查看是否启动成功，正常情况下会看到NameNode、DataNode等进程。

2、启动YARN服务

- 执行start - yarn.sh命令，启动ResourceManager和NodeManager服务，同样通过jps命令查看，会看到ResourceManager、NodeManager等进程。

测试Hadoop安装

1、创建测试文件

- 在本地文件系统创建一个测试文件，如test.txt可以为简单的文本内容。

2、上传文件到HDFS

- 使用命令hdfs dfs - put test.txt /user/hadoop将测试文件上传到HDFS中的/user/hadoop目录下（如果目录不存在会自动创建）。

3、运行MapReduce示例程序

- Hadoop自带了一些MapReduce示例程序，可以运行hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop - mapreduce - examples - 3.x.xx.jar wordcount /user/hadoop/test.txt /user/hadoop/output（这里的3.x.xx是实际的Hadoop版本号），这个命令会对test.txt文件中的单词进行计数，并将结果输出到/user/hadoop/output目录下。

通过以上步骤，就可以在虚拟机中成功搭建Hadoop环境，并进行基本的操作和测试，在实际应用中，还可以根据需求进一步优化和扩展Hadoop集群的配置。