虚拟机下载hadoop，虚拟机环境下Hadoop安装与配置详细步骤解析

在虚拟机中下载Hadoop并进行安装与配置，本文详细解析了步骤，包括安装Java、配置环境变量、下载Hadoop、解压安装包、配置Hadoop等，助您轻松搭建Hadoop环境。

Hadoop是一款开源的分布式计算框架,主要用于处理大规模数据集，在虚拟机环境下安装Hadoop，可以帮助我们更好地学习和实践Hadoop技术，本文将详细介绍在虚拟机中下载、安装和配置Hadoop的步骤。

环境准备

1. 操作系统：Linux（推荐使用CentOS 7）
2. 虚拟机软件：VMware Workstation、VirtualBox等
3. Hadoop版本：本文以Hadoop 3.2.1为例

虚拟机安装

图片来源于网络，如有侵权联系删除

1. 创建虚拟机：打开虚拟机软件，创建一个新的虚拟机，选择Linux操作系统，选择CentOS 7作为安装版本。
2. 分配内存和CPU：根据实际情况分配内存和CPU资源，建议至少分配2GB内存和2个CPU核心。
3. 创建虚拟硬盘：选择创建新虚拟硬盘，选择“固定大小”或“动态分配”，建议选择“固定大小”，分配至少20GB的硬盘空间。
4. 安装操作系统：启动虚拟机，按照提示完成CentOS 7的安装。

Hadoop下载

1. 访问Hadoop官网：https://hadoop.apache.org/
2. 下载Hadoop：在官网上找到适合自己操作系统的Hadoop版本，点击下载链接，下载到本地。
3. 将Hadoop上传到虚拟机：使用FTP、SCP或SFTP等方式将下载的Hadoop安装包上传到虚拟机。

Hadoop安装

1. 解压Hadoop安装包：在虚拟机中，使用tar命令解压Hadoop安装包，

   tar -zxvf hadoop-3.2.1.tar.gz -C /opt/

2. 配置环境变量：编辑虚拟机的bashrc文件，添加Hadoop的bin和sbin目录到环境变量中，

   vi /etc/bashrc

   在文件末尾添加以下内容：

   export HADOOP_HOME=/opt/hadoop-3.2.1
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   保存并退出编辑器,然后执行以下命令使环境变量生效：

   source /etc/bashrc

Hadoop配置

1. 配置Hadoop配置文件：进入Hadoop的etc/hadoop目录，编辑以下配置文件：

   vi core-site.xml

   在文件中添加以下内容：

   

   图片来源于网络，如有侵权联系删除

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
   </configuration>

   vi hdfs-site.xml

   在文件中添加以下内容：

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
   </configuration>

   vi mapred-site.xml

   在文件中添加以下内容：

   <configuration>
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>

2. 配置SSH免密登录：在虚拟机中生成SSH密钥对，并将公钥复制到虚拟机的authorized_keys文件中，实现免密登录。

   ssh-keygen -t rsa -P '' -C 'your_email@example.com'
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@localhost

3. 格式化HDFS：在虚拟机中执行以下命令，格式化HDFS：

   hdfs namenode -format

启动Hadoop服务

1. 启动NameNode：

   start-dfs.sh

2. 启动SecondaryNameNode：

   start-SecondaryNameNode.sh

3. 启动ResourceManager：

   start-yarn.sh

4. 启动NodeManager：

   start-dfs.sh

5. 启动HistoryServer：

   mr-jobhistory-daemon.sh start historyserver

测试Hadoop

1. 在虚拟机中打开浏览器,访问以下地址，查看Hadoop Web界面：

   http://localhost:50070

2. 在虚拟机中执行以下命令,查看Hadoop进程：

   jps

本文详细介绍了在虚拟机环境下下载、安装和配置Hadoop的步骤，通过本文的指导，您可以快速搭建一个Hadoop环境，为后续的学习和实践打下基础，在实际应用中，您可以根据自己的需求对Hadoop进行扩展和优化。