虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop的安装与配置详解

在虚拟机环境中安装和配置Hadoop需要遵循一系列详细的步骤，确保虚拟机的操作系统已正确安装并运行稳定，下载Hadoop的安装包并进行解压缩，配置环境变量以使系统识别Hadoop路径，创建Hadoop的用户账户并设置相应的权限，之后，初始化Hadoop文件系统（如HDFS）以及配置主节点和从节点的相关参数，启动Hadoop服务并进行测试以确保其正常运行，这些步骤对于成功地在虚拟机中部署Hadoop至关重要。

Hadoop是一款开源的分布式计算平台，广泛应用于大数据处理和分析领域，在虚拟机环境中安装和配置Hadoop可以方便地进行开发和测试工作，本文将详细介绍如何在VMware Workstation中创建虚拟机环境,并在其中成功部署Hadoop。

图片来源于网络，如有侵权联系删除

准备工作

确认硬件要求

• CPU: 至少2核以上处理器,推荐4核及以上。
• 内存: 至少8GB RAM,建议16GB或更高。
• 存储空间: 至少100GB可用磁盘空间,推荐200GB以上。

确保满足上述条件后，即可开始安装VMware Workstation。

安装VMware Workstation

下载并安装VMware Workstation软件,具体步骤如下：

1. 访问VMware官网下载适合自己操作系统的版本。
2. 双击下载后的安装包进行安装,按照提示完成安装过程。

安装完成后，启动VMware Workstation。

图片来源于网络，如有侵权联系删除

创建虚拟机环境

创建新虚拟机

1. 在VMware Workstation界面中选择“文件” > “新建虚拟机”。
2. 选择“自定义（高级）”选项,点击下一步。
3. 选择操作系统类型为Linux，版本为Ubuntu 18.04 LTS或其他支持的发行版。
4. 设置虚拟机的名称和位置，点击“浏览”选择存放路径。
5. 分配给虚拟机的内存大小至少需要4GB,硬盘容量建议至少50GB。
6. 点击“创建”按钮完成虚拟机的创建。

配置网络设置

1. 右键点击新建的虚拟机，选择“编辑虚拟机设置”。
2. 在“网络适配器”标签页中，选择“使用桥接模式”,这样可以使虚拟机通过网络与其他设备通信。
3. 点击“确定”保存更改。

安装Hadoop

安装Java JDK

Hadoop依赖于Java运行环境,因此需要在虚拟机上安装JDK。

1. 打开终端窗口，执行以下命令下载JDK：

   sudo apt-get update
   sudo apt-get install openjdk-11-jdk

2. 验证JDK是否已正确安装：

   java -version

安装Hadoop

1. 下载Hadoop源码压缩包，例如从Hadoop官网下载最新稳定版本的tar.gz文件。
2. 解压下载的文件到虚拟机的指定目录下，例如/usr/local/hadoop：

   tar xzf hadoop-3.x.y.tar.gz -C /usr/local/

3. 更改文件权限以便后续编译：

   sudo chown -R $USER:$USER /usr/local/hadoop

编译Hadoop

1. 进入Hadoop源码目录：

   cd /usr/local/hadoop/hadoop-3.x.y

2. 执行编译命令：

   ./bin/hadoopdistro.sh

3. 根据提示回答问题,默认情况下可以选择全部默认值。

配置Hadoop环境变量

1. 编辑.bashrc文件以添加Hadoop的环境变量：

   nano ~/.bashrc

2. 添加以下内容到文件的末尾：

   export HADOOP_HOME=/usr/local/hadoop/hadoop-3.x.y
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 刷新当前shell会话：

   source ~/.bashrc

启动Hadoop服务

1. 运行以下命令启动HDFS和YARN服务：

   sudo /usr/local/hadoop/hadoop-3.x.y/sbin/start-dfs.sh
   sudo /usr/local/hadoop/hadoop-3.x.y/sbin/start-yarn.sh

测试Hadoop

测试HDFS

1. 上传文件到HDFS：

   hadoop fs -put localfile.txt hdfs://localhost:9000/user/hadoop/

2. 列出HDFS上的文件：

   hadoop fs -ls hdfs://localhost:9000/user/hadoop/

测试MapReduce

1. 编写简单的MapReduce程序，并将其放在/usr/local/hadoop/hadoop-3.x.y/mapreduce-examples/target目录下。
2. 使用以下