虚拟机安装hadoop安装详细步骤图，基于虚拟机的Hadoop环境搭建详细步骤解析

本文详细介绍了基于虚拟机的Hadoop环境搭建步骤，包括虚拟机安装Hadoop的详细步骤图。通过本文，读者可以了解如何从零开始搭建一个完整的Hadoop环境，掌握Hadoop的安装与配置方法。

环境准备

1、操作系统：选择一个稳定的Linux发行版，如CentOS 7、Ubuntu 18.04等。

2、虚拟机软件：选择一款虚拟机软件，如VMware Workstation、VirtualBox等。

3、网络配置：确保虚拟机与宿主机之间的网络互通。

虚拟机安装步骤

1、创建虚拟机：打开虚拟机软件，创建一个新的虚拟机，选择Linux发行版，并根据需求设置CPU、内存、硬盘等资源。

2、安装操作系统：将Linux发行版的ISO文件加载到虚拟机中，启动虚拟机，按照提示完成操作系统安装。

3、设置网络：在虚拟机中，打开终端，配置网络，确保虚拟机与宿主机之间的网络互通。

Hadoop环境搭建

1、下载Hadoop：访问Hadoop官网（https://hadoop.apache.org/），下载最新版本的Hadoop。

2、解压Hadoop：将下载的Hadoop压缩包解压到虚拟机中，/usr/local/hadoop。

3、配置Hadoop环境变量：

（1）打开终端，编辑bashrc文件：vi ~/.bashrc

（2）在文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存并退出编辑。

（4）使环境变量生效：source ~/.bashrc

4、配置Hadoop配置文件：

（1）进入Hadoop配置目录：cd /usr/local/hadoop/etc/hadoop

（2）编辑hadoop-env.sh文件，配置Java环境：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/

（3）编辑core-site.xml文件，配置Hadoop存储路径：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

（4）编辑hdfs-site.xml文件，配置HDFS副本因子：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

（5）编辑yarn-site.xml文件，配置YARN资源管理器：

<configuration>
  <property>
    <name>yarn.resourcemanager.host.name</name>
    <value>localhost</value>
  </property>
</configuration>

5、格式化HDFS：

（1）在终端执行以下命令，格式化HDFS：

hadoop namenode -format

（2）启动Hadoop服务：

- 启动NameNode：

start-dfs.sh

- 启动SecondaryNameNode：

start-ymr.sh

- 启动ResourceManager：

start-yarn.sh

- 启动NodeManager：

start-dfs.sh

6、验证Hadoop环境：

（1）在终端执行以下命令，查看Hadoop版本信息：

hadoop version

（2）在终端执行以下命令，查看HDFS文件系统信息：

hdfs dfs -ls /

通过以上步骤，您已经在虚拟机上成功搭建了Hadoop环境，您可以尝试运行Hadoop自带的示例程序，进一步熟悉Hadoop的使用，在实际应用中，您可以根据需求调整Hadoop配置，以满足不同的业务场景。