虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop安装详解

在虚拟机中安装Hadoop的详细步骤如下：首先创建虚拟机并配置网络，然后安装Java环境，接着下载Hadoop安装包并解压，设置环境变量，配置Hadoop配置文件，启动Hadoop服务，并测试Hadoop是否安装成功。

准备工作

1、硬件环境：推荐使用4核CPU、8GB内存、100GB硬盘的虚拟机环境。

2、软件环境：操作系统建议使用CentOS 7，Java版本建议使用1.8。

3、工具：虚拟机软件（如VMware、VirtualBox）、Hadoop安装包。

虚拟机配置

1、打开虚拟机软件，创建一个新的虚拟机。

2、选择操作系统类型和版本，这里选择CentOS 7。

3、设置虚拟机名称、分配内存和CPU核心数，建议分配8GB内存、4个CPU核心。

4、创建虚拟硬盘，选择“固定大小”，分配100GB空间。

5、设置网络类型，选择“桥接模式”，确保虚拟机可以访问外部网络。

6、完成虚拟机创建，启动虚拟机。

安装Java

1、在虚拟机中打开终端。

2、下载Java安装包，访问Oracle官网下载Java 8安装包。

3、将下载的安装包上传到虚拟机。

4、解压安装包，进入解压后的目录。

5、执行以下命令，安装Java：

sudo ./install.sh

6、安装完成后，配置Java环境变量：

sudo gedit /etc/profile

在文件末尾添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

7、保存文件，并重启虚拟机使配置生效。

安装Hadoop

1、下载Hadoop安装包，访问Apache Hadoop官网下载Hadoop 3.2.1安装包。

2、将下载的安装包上传到虚拟机。

3、解压安装包，进入解压后的目录。

4、将Hadoop安装目录移动到系统目录下：

sudo mv hadoop-3.2.1 /usr/local/hadoop

5、配置Hadoop环境变量：

sudo gedit /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

6、保存文件，并重启虚拟机使配置生效。

配置Hadoop

1、进入Hadoop安装目录，修改etc/hadoop/core-site.xml文件：

sudo gedit etc/hadoop/core-site.xml

添加到文件中：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2、修改etc/hadoop/hdfs-site.xml文件：

sudo gedit etc/hadoop/hdfs-site.xml

添加到文件中：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3、修改etc/hadoop/yarn-site.xml文件：

sudo gedit etc/hadoop/yarn-site.xml

添加到文件中：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

格式化HDFS

1、进入Hadoop安装目录。

2、执行以下命令，格式化HDFS：

bin/hdfs namenode -format

3、格式化完成后，启动Hadoop服务：

sbin/start-dfs.sh

4、启动YARN服务：

sbin/start-yarn.sh

5、检查Hadoop服务是否启动成功：

jps

在终端中应该会显示NameNode、SecondaryNameNode、 ResourceManager、NodeManager等进程。

至此，虚拟机环境下的Hadoop安装完成，您可以在浏览器中访问http://虚拟机IP:50070查看Hadoop的Web界面。