虚拟机下载hadoop，虚拟机环境搭建Hadoop分布式文件系统详解

本文详细介绍了在虚拟机环境下下载并搭建Hadoop分布式文件系统的过程，包括安装虚拟机、配置网络、下载Hadoop、设置环境变量等步骤，为读者提供了详细的操作指南。

随着大数据时代的到来，Hadoop作为一款开源的分布式文件系统，已经成为了处理海量数据的重要工具，本文将详细介绍如何在虚拟机环境下搭建Hadoop分布式文件系统,帮助读者快速入门。

环境准备

1. 虚拟机软件：建议使用VMware Workstation或VirtualBox等虚拟机软件。

2. 操作系统：推荐使用CentOS 7 x64位操作系统。

3. Hadoop版本：本文以Hadoop 3.3.4版本为例。

   

   图片来源于网络，如有侵权联系删除

4. 网络配置：确保虚拟机与宿主机之间可以正常通信。

安装步骤

安装操作系统

（1）创建虚拟机，选择CentOS 7 x64位操作系统。

（2）分配内存、CPU、硬盘等资源。

（3）安装操作系统,按照提示完成安装。

配置网络

（1）编辑虚拟机网络设置，选择“桥接模式”。

（2）配置IP地址、子网掩码、网关等信息,确保虚拟机与宿主机之间可以正常通信。

安装JDK

（1）下载JDK安装包：https://www.oracle.com/java/technologies/javase-downloads.html

（2）解压安装包，将JDK安装到指定目录，例如/usr/local/jdk1.8.0_251。

（3）编辑/etc/profile文件,添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

（4）使配置生效：source /etc/profile

安装Hadoop

（1）下载Hadoop安装包：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

（2）解压安装包，将Hadoop安装到指定目录，例如/usr/local/hadoop-3.3.4。

图片来源于网络，如有侵权联系删除

（3）配置Hadoop环境变量：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4）使配置生效：source /etc/profile

配置Hadoop

（1）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件,设置JDK路径：

export JAVA_HOME=/usr/local/jdk1.8.0_251

（2）编辑/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件,配置HDFS的存储目录：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.3.4/tmp</value>
  </property>
</configuration>

（3）编辑/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件,配置HDFS的副本因子和存储目录：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.3.4/hdfs/datanode</value>
  </property>
</configuration>

（4）编辑/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件,配置YARN的存储目录：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

格式化HDFS

在master节点上执行以下命令：

hdfs namenode -format

启动Hadoop服务

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

start-yarn.sh

验证Hadoop服务

在浏览器中访问以下地址,查看HDFS和YARN的Web界面：

• HDFS：http://master:50070
• YARN：http://master:8088

本文详细介绍了在虚拟机环境下搭建Hadoop分布式文件系统的步骤，通过以上步骤，读者可以快速入门Hadoop，为后续的大数据处理打下基础，在实际应用中,可以根据需求对Hadoop进行优化和扩展。