虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop的安装与配置指南

在虚拟机环境中安装和配置Hadoop涉及多个步骤，包括准备环境、下载Hadoop软件包、设置环境变量、创建配置文件以及启动服务，确保虚拟机的操作系统支持Java运行时环境（JRE），并已正确安装，从官方网站下载最新版本的Hadoop压缩包，解压到虚拟机的指定目录下，编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件以设置正确的Java环境变量，创建一个包含所有节点的core-site.xml和hdfs-site.xml配置文件，定义名称节点和数据节点的相关信息，通过执行特定命令来格式化名称节点并启动HDFS和MapReduce服务，完成这些步骤后，您就可以开始使用Hadoop进行数据处理和分析工作了。

Hadoop 是一种开源的分布式计算平台，广泛应用于大数据处理和分析领域，在虚拟机环境中部署 Hadoop 可以帮助开发者快速搭建测试环境，进行开发和调试工作，本文将详细介绍如何在虚拟机上安装和配置 Hadoop。

环境准备

1. 选择合适的虚拟化软件：
   • VMware Workstation：功能强大，支持多种操作系统。
   • VirtualBox：免费且易于使用，适用于初学者。
2. 下载 Hadoop 发行版：

   选择稳定版本,如 3.x 系列。

   

   图片来源于网络，如有侵权联系删除

3. 创建虚拟机：

   配置内存、CPU 和硬盘等资源。

4. 安装操作系统：

   建议使用 Ubuntu 或 CentOS 作为宿主操作系统。

   

   图片来源于网络，如有侵权联系删除

安装过程

安装虚拟机管理器

以 VMware Workstation 为例：

1. 打开 VMware Workstation，点击“文件” > “新建虚拟机”。
2. 选择“自定义（高级）”选项，然后按照向导提示完成设置。
3. 选择要安装的操作系统类型和版本,Ubuntu 20.04 LTS。
4. 设置虚拟机的名称、位置以及磁盘大小等参数。
5. 完成后,系统会自动下载相应的镜像文件并进行安装。

安装 Hadoop

1. 在已启动的虚拟机中打开终端窗口。
2. 更新系统中已安装的程序包：

   sudo apt-get update && sudo apt-get upgrade

3. 安装 Java 环境（Hadoop 需要 Java 运行时环境）：

   sudo apt-get install openjdk-8-jdk

4. 下载 Hadoop 发行版到本地主机：

   wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

5. 解压 Hadoop 文件夹并将其移动到 /usr/local 目录下：

   tar -xzf hadoop-3.2.2.tar.gz
   sudo mv hadoop-3.2.2 /usr/local/

6. 创建 Hadoop 用户组：

   sudo groupadd hadoop

7. 将当前用户添加到 Hadoop 组中：

   sudo usermod -aG hadoop $USER

8. 重启计算机使更改生效。

配置 Hadoop 环境

1. 编辑 Hadoop 的配置文件（/etc/profile.d/hadoop.sh）：

   vi /etc/profile.d/hadoop.sh

2. 添加以下内容：

   export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
   export HADOOP_HOME=/usr/local/hadoop-3.2.2
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 应用更改并退出编辑器：

   source /etc/profile.d/hadoop.sh

4. 验证 Java 版本：

   java -version

5. 验证 Hadoop 版本：

   hadoop version

配置 Hadoop 集群

网络配置

1. 配置 IP 地址和子网掩码：

   ifconfig eth0 192.168.1.10 netmask 255.255.255.0 up

2. 配置 hosts 文件：

   echo "127.0.0.1 localhost" >> /etc/hosts
   echo "192.168.1.10 node1" >> /etc/hosts

3. 配置防火墙规则（如果启用）：

   ufw allow ssh
   ufw allow 9000/tcp
   ufw allow 8088/tcp
   ufw allow 50070/tcp
   ufw enable

核心-site.xml 配置

1. 复制 core-site.xml 示例文件到当前用户的 home 目录：

   cp /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml.example ~/.core-site.xml

2. 编辑核心站点配置文件：

   vi ~/.core-site.xml

3. 添加或修改以下节点：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://node1:9000</value>
       </property>
   </