虚拟机安装hadoop安装详细步骤，虚拟机安装hadoop安装详细步骤

***：文档主要围绕虚拟机中安装hadoop的详细步骤展开。但未给出具体步骤内容，无法详细阐述每一步操作。通常在虚拟机安装hadoop可能涉及到虚拟机环境的搭建与配置，如内存、磁盘等资源分配；在虚拟机内安装操作系统，之后进行hadoop相关软件包的获取、解压，配置hadoop的核心文件如core - site.xml、hdfs - site.xml等一系列复杂且关键的操作步骤。

本文目录导读：

1. 环境准备
2. 安装JDK
3. 安装Hadoop

《虚拟机中Hadoop安装详细步骤》

环境准备

1、虚拟机软件选择与安装

- 我们可以选择VirtualBox或者VMware Workstation等虚拟机软件，这里以VMware Workstation为例进行讲解。

- 首先从VMware官方网站下载VMware Workstation安装包，根据操作系统版本（如Windows或Linux）选择相应的安装包，下载完成后，双击安装包，按照安装向导提示进行安装，在安装过程中，可能需要接受许可协议、选择安装路径等操作。

2、操作系统安装

- 在VMware Workstation中创建新的虚拟机，选择“创建新的虚拟机”，然后选择“典型（推荐）”或“自定义（高级）”模式，如果是初学者，建议选择“典型（推荐）”模式。

- 选择要安装的操作系统类型，这里我们以CentOS 7为例，指定操作系统的安装镜像文件（ISO文件），可以从CentOS官方网站下载。

- 为虚拟机分配适当的内存（如2GB或更多，根据主机资源情况而定）、磁盘空间（建议至少20GB）等资源。

- 启动虚拟机，按照CentOS 7的安装向导进行操作系统安装，在安装过程中，设置root密码、创建用户等操作。

安装JDK

1、下载JDK

- 从Oracle官方网站下载适用于Linux的JDK版本，下载JDK 8的Linux x64版本。

2、安装JDK

- 在CentOS 7虚拟机中，创建一个用于存放JDK的目录，如/usr/java。

- 使用rz命令（如果没有安装lrzsz工具，先使用yum install lrzsz安装）将下载的JDK安装包上传到虚拟机中。

- 解压JDK安装包，tar -zxvf jdk - 8uXXX - linux - x64.tar.gz -C /usr/java。

- 设置环境变量，编辑/etc/profile文件，在文件末尾添加以下内容：

```bash

export JAVA_HOME=/usr/java/jdk1.8.0_XXX

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

```

- 使环境变量生效，执行source /etc/profile。

安装Hadoop

1、下载Hadoop

- 从Hadoop官方网站下载稳定版本的Hadoop，如Hadoop 3.x版本。

2、安装Hadoop

- 在CentOS 7虚拟机中创建/usr/hadoop目录，将下载的Hadoop压缩包上传到该目录。

- 解压Hadoop压缩包，tar -zxvf hadoop - 3.x.x.tar.gz -C /usr/hadoop。

3、配置Hadoop环境变量

- 编辑/etc/profile文件，在文件末尾添加以下内容：

```bash

export HADOOP_HOME=/usr/hadoop/hadoop - 3.x.x

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

```

- 使环境变量生效，执行source /etc/profile。

4、配置Hadoop核心文件

hadoop - env.sh

- 编辑$HADOOP_HOME/etc/hadoop/hadoop - env.sh文件，找到export JAVA_HOME这一行，将其修改为export JAVA_HOME = /usr/java/jdk1.8.0_XXX（根据实际JDK安装路径）。

core - site.xml

- 在$HADOOP_HOME/etc/hadoop/core - site.xml文件中添加以下配置：

```xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/hadoop - 3.x.x/tmp</value>

</property>

</configuration>

```

hdfs - site.xml

- 编辑$HADOOP_HOME/etc/hadoop/hdfs - site.xml文件，添加以下配置：

```xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/usr/hadoop/hadoop - 3.x.x/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/usr/hadoop/hadoop - 3.x.x/dfs/data</value>

</property>

</configuration>

```

mapred - site.xml

- 从$HADOOP_HOME/etc/hadoop/mapred - site.xml.template复制一份到$HADOOP_HOME/etc/hadoop/mapred - site.xml。

- 编辑mapred - site.xml文件，添加以下配置：

```xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

```

yarn - site.xml

- 编辑$HADOOP_HOME/etc/hadoop/yarn - site.xml文件，添加以下配置：

```xml

<configuration>

<property>

<name>yarn.nodemanager.aux - services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

</configuration>

```

5、格式化HDFS

- 在终端中执行hdfs namenode - format命令，这一步骤会初始化HDFS文件系统，创建必要的目录结构等。

6、启动Hadoop服务

- 启动HDFS服务：执行start - dfs.sh命令，可以使用jps命令查看是否有NameNode、DataNode等相关进程启动。

- 启动YARN服务：执行start - yarn.sh命令，然后使用jps命令查看是否有ResourceManager、NodeManager等进程启动。

通过以上步骤，我们就在虚拟机中成功安装了Hadoop，可以进一步进行Hadoop相关的操作，如运行示例程序、进行大数据处理等操作，在安装过程中，如果遇到问题，可以查看Hadoop的官方文档或者相关的技术论坛寻求帮助。