虚拟机安装hadoop安装详细步骤，深入解析，在虚拟机中安装Hadoop的详细步骤及注意事项

在虚拟机中安装Hadoop，需遵循详细步骤：1. 创建虚拟机，配置网络；2. 安装Java环境；3. 下载并解压Hadoop；4. 配置环境变量；5. 修改Hadoop配置文件；6. 格式化HDFS；7. 启动Hadoop服务。注意解决网络问题、配置文件正确性等。

Hadoop作为一款开源的大数据处理框架，已经在全球范围内得到了广泛的应用，本文将详细讲解如何在虚拟机中安装Hadoop，以便大家能够更好地了解和使用Hadoop。

安装环境

1、操作系统：Linux（本文以CentOS 7为例）

2、虚拟机软件：VMware Workstation

3、Hadoop版本：Hadoop 3.3.1

安装步骤

1、创建虚拟机

（1）打开VMware Workstation，点击“创建新的虚拟机”。

（2）选择“自定义（高级）”，点击“下一步”。

（3）选择“Linux”，选择“CentOS 7 64位”版本，点击“下一步”。

（4）配置虚拟机内存、CPU等硬件资源，点击“下一步”。

（5）创建虚拟硬盘，选择“分配全部现在空间”，点击“下一步”。

（6）选择“将虚拟硬盘拆分到多个文件中”，设置文件大小，点击“完成”。

2、安装CentOS 7

（1）启动虚拟机，进入CentOS 7安装界面。

（2）根据提示选择语言、键盘布局等，点击“下一步”。

（3）选择安装类型，选择“自定义（高级）”，点击“下一步”。

（4）分区操作，将硬盘分为/boot、/、/home、/var、/tmp等分区，点击“下一步”。

（5）选择“使用全部空间（推荐）”，点击“下一步”。

（6）安装软件包，选择“DNF和Yum”，点击“下一步”。

（7）选择“网络和主机名”，配置网络参数，点击“下一步”。

（8）选择“引导加载程序配置”，点击“下一步”。

（9）设置用户和密码，点击“下一步”。

（10）安装完成，重启虚拟机。

3、配置SSH免密登录

（1）打开终端，执行以下命令生成密钥对：

ssh-keygen -t rsa -C "your_email@example.com"

（2）将公钥复制到authorized_keys文件中：

ssh-copy-id -i ~/.ssh/id_rsa.pub your_email@example.com

（3）在远程主机上查看~/.ssh/authorized_keys文件，确认公钥已添加。

4、安装Java

（1）下载Java安装包，jdk-8u241-linux-x64.tar.gz

（2）将安装包上传到虚拟机中，解压到根目录：

tar -zxvf jdk-8u241-linux-x64.tar.gz -C /

（3）编辑~/.bash_profile文件，添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin

（4）使配置生效：

source ~/.bash_profile

5、安装Hadoop

（1）下载Hadoop安装包，hadoop-3.3.1.tar.gz

（2）将安装包上传到虚拟机中，解压到根目录：

tar -zxvf hadoop-3.3.1.tar.gz -C /

（3）编辑hadoop配置文件：

（a）编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（b）使配置生效：

source ~/.bash_profile

（c）编辑hadoop配置文件：

cd $HADOOP_HOME/etc/hadoop

（d）编辑core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

（e）编辑hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（f）编辑mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（g）编辑yarn-site.xml：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

6、格式化HDFS

hdfs namenode -format

7、启动Hadoop服务

start-dfs.sh
start-yarn.sh

8、测试Hadoop

在浏览器中访问http://localhost:50070/，查看HDFS状态；在浏览器中访问http://localhost:8088/，查看YARN状态。

本文详细讲解了在虚拟机中安装Hadoop的步骤，包括创建虚拟机、安装CentOS 7、配置SSH免密登录、安装Java、安装Hadoop、格式化HDFS和启动Hadoop服务，希望本文对大家学习和使用Hadoop有所帮助。