虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop集群安装详细步骤及注意事项

在虚拟机中安装Hadoop，需先设置虚拟环境，然后按照步骤配置Hadoop集群，包括安装Java、SSH无密登录、配置Hadoop环境变量、编辑配置文件等。安装过程中需注意网络配置、集群节点通信、数据同步等关键事项。

环境准备

1、操作系统：CentOS 7.x 或 Ubuntu 16.04

2、虚拟机软件：VMware Workstation、VirtualBox等

3、JDK：Java Development Kit，版本为1.8

4、Hadoop：版本为3.3.4

安装步骤

1、安装操作系统

（1）下载CentOS 7.x或Ubuntu 16.04的镜像文件

（2）使用VMware Workstation或VirtualBox创建虚拟机，并设置虚拟机的CPU、内存、硬盘等资源

（3）将镜像文件导入虚拟机，安装操作系统

2、安装JDK

（1）下载JDK 1.8的安装包

（2）将JDK安装包上传到虚拟机中

（3）解压安装包

（4）设置环境变量：

- 编辑/etc/profile 文件

- 添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

- 使环境变量生效：

source /etc/profile

3、安装Hadoop

（1）下载Hadoop 3.3.4的安装包

（2）将Hadoop安装包上传到虚拟机中

（3）解压安装包

（4）设置Hadoop环境变量：

- 编辑/etc/profile 文件

- 添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

- 使环境变量生效：

source /etc/profile

4、配置Hadoop

（1）修改Hadoop配置文件：

- 修改hadoop-env.sh 文件，设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_231

- 修改core-site.xml 文件，设置HDFS的存储目录：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

- 修改hdfs-site.xml 文件，设置HDFS的副本因子：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

- 修改mapred-site.xml 文件，设置MapReduce的运行模式：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

- 修改yarn-site.xml 文件，设置YARN的运行模式：

<configuration>
    <property>
        <name>yarn.resourcemanager.host.name</name>
        <value>localhost</value>
    </property>
</configuration>

（2）格式化HDFS：

hadoop namenode -format

5、启动Hadoop服务

（1）启动NameNode：

start-dfs.sh

（2）启动ResourceManager：

start-yarn.sh

（3）启动HistoryServer：

mr-jobhistory-daemon.sh start historyserver

6、验证Hadoop安装

（1）在浏览器中访问HDFS Web界面：http://localhost:50070

（2）在浏览器中访问YARN Web界面：http://localhost:8088

注意事项

1、确保虚拟机的网络设置为桥接模式，以便Hadoop集群中的节点能够相互通信。

2、在配置Hadoop环境变量时，确保路径正确无误。

3、在启动Hadoop服务之前，请确保Hadoop配置文件已正确配置。

4、在实际生产环境中，建议使用YARN作为MapReduce的运行框架。

5、为了提高Hadoop集群的稳定性，建议配置合理的副本因子和内存分配。

6、在进行Hadoop集群安装和配置过程中，如遇到问题，可参考官方文档或相关技术论坛寻求帮助。

通过以上步骤，您可以在虚拟机环境下成功安装Hadoop集群，祝您使用愉快！