虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop安装详细步骤及注意事项

在虚拟机中安装Hadoop的详细步骤包括：1. 准备虚拟机环境；2. 下载并解压Hadoop安装包；3. 配置环境变量；4. 配置Hadoop配置文件；5. 格式化HDFS；6. 启动Hadoop服务，注意事项包括：确保Java环境正确配置，网络设置无误，以及合理分配资源。

Hadoop是一款开源的分布式计算框架，主要用于处理大规模数据集，在虚拟机环境下安装Hadoop，可以方便地进行分布式计算实验和开发,本文将详细介绍在虚拟机环境下安装Hadoop的步骤及注意事项。

安装环境

1. 操作系统：CentOS 7.0（或其他Linux发行版）
2. 虚拟机软件：VMware Workstation
3. Hadoop版本：Hadoop 3.2.1

安装步骤

图片来源于网络，如有侵权联系删除

准备工作

（1）在虚拟机中安装CentOS 7.0操作系统。

（2）配置网络,确保虚拟机可以访问互联网。

（3）安装JDK，由于Hadoop需要Java环境，因此需要安装JDK,以下是安装JDK的步骤：

a. 下载JDK安装包：https://www.oracle.com/java/technologies/javase-downloads.html

b. 将JDK安装包上传到虚拟机。

c. 解压JDK安装包。

d. 配置环境变量,在终端中执行以下命令：

vi /etc/profile

在文件末尾添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

保存并退出编辑器。

e. 使环境变量生效：

source /etc/profile

安装Hadoop

（1）下载Hadoop安装包：https://hadoop.apache.org/releases.html

（2）将Hadoop安装包上传到虚拟机。

（3）解压Hadoop安装包：

tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/

（4）配置Hadoop环境变量,在终端中执行以下命令：

vi /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出编辑器。

（5）使环境变量生效：

source /etc/profile

配置Hadoop

（1）修改Hadoop配置文件,进入Hadoop配置目录：

cd /usr/local/hadoop-3.2.1/etc/hadoop

a. 修改hadoop-env.sh文件,配置JDK路径：

vi hadoop-env.sh

在文件中找到以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251

确保该路径与你的JDK安装路径一致。

b. 修改core-site.xml文件,配置Hadoop运行时的基本参数：

图片来源于网络，如有侵权联系删除

vi core-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.2.1/tmp</value>
    </property>
</configuration>

c. 修改hdfs-site.xml文件,配置HDFS存储参数：

vi hdfs-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

d. 修改mapred-site.xml文件,配置MapReduce运行时的基本参数：

vi mapred-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

e. 修改yarn-site.xml文件,配置YARN运行时的基本参数：

vi yarn-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

（2）格式化HDFS文件系统：

hdfs namenode -format

启动Hadoop服务

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

start-yarn.sh

（3）启动HistoryServer：

mr-jobhistory-daemon.sh start historyserver

验证安装

1. 在浏览器中访问HDFS Web界面：http://localhost:50070

2. 在浏览器中访问YARN Web界面：http://localhost:8088

3. 在终端中执行以下命令,查看MapReduce任务历史：

yarn application -list

注意事项

1. 在安装过程中，确保网络畅通,以便下载安装包。

2. 在配置环境变量时,注意路径是否正确。

3. 在修改配置文件时,注意XML标签的完整性。

4. 在启动Hadoop服务前,确保所有配置文件已正确配置。

5. 在使用Hadoop时，注意数据存储路径,避免覆盖现有数据。

通过以上步骤，你可以在虚拟机环境下成功安装Hadoop,祝你学习愉快！