虚拟机安装hadoop安装详细步骤图

安装Hadoop的虚拟机步骤详细图解：配置虚拟机环境；下载并安装Hadoop；配置Hadoop环境变量；编辑Hadoop配置文件；启动Hadoop服务并测试。图中详细展示了每一步的截图操作。

虚拟机环境下一键安装Hadoop集群详细步骤及图解

一、环境准备

1. 操作系统：选择CentOS 7.0 x64位操作系统。

2. 虚拟机软件：建议使用VMware Workstation 15。

3. Hadoop版本：选择Hadoop 3.2.1。

4. 网络设置：配置虚拟机网络为桥接模式，确保虚拟机可以访问外网。

二、虚拟机安装步骤

1. 创建虚拟机

（1）打开VMware Workstation，点击“创建新的虚拟机”。

（2）选择“自定义（高级）”，点击“下一步”。

（3）选择“安装操作系统”，点击“下一步”。

（4）选择“稍后安装操作系统”，点击“下一步”。

（5）选择“Linux”，点击“下一步”。

（6）选择“CentOS 7 64位”，点击“下一步”。

（7）设置虚拟机名称、安装路径等信息，点击“下一步”。

（8）配置CPU核心数、内存大小等资源，点击“下一步”。

（9）选择虚拟硬盘类型，点击“下一步”。

（10）配置虚拟硬盘大小，点击“下一步”。

（11）配置网络设置，选择“桥接模式”，点击“下一步”。

（12）配置I/O控制器类型，点击“下一步”。

（13）配置磁盘存储类型，点击“下一步”。

（14）配置磁盘分区，点击“下一步”。

（15）完成虚拟机创建。

2. 安装CentOS 7操作系统

（1）双击虚拟机，进入CentOS 7安装界面。

（2）选择“安装CentOS 7”，按回车键。

（3）选择安装语言、键盘布局等，按回车键。

（4）选择时区，按回车键。

（5）选择网络和主机名，按回车键。

（6）设置root密码，按回车键。

（7）选择是否安装图形界面，按回车键。

（8）等待安装完成，重启虚拟机。

三、Hadoop集群安装步骤

1. 下载Hadoop 3.2.1安装包

（1）访问Hadoop官网：https://hadoop.apache.org/releases.html

（2）下载Hadoop 3.2.1安装包：hadoop-3.2.1.tar.gz

2. 解压安装包

（1）登录虚拟机，进入根目录：cd /

（2）创建hadoop目录：mkdir /hadoop

（3）将安装包解压到hadoop目录：tar -zxvf hadoop-3.2.1.tar.gz -C /hadoop

3. 配置Hadoop环境变量

（1）打开终端，编辑.bashrc文件：vi ~/.bashrc

（2）在文件末尾添加以下内容：

export HADOOP_HOME=/hadoop/hadoop-3.2.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（3）保存并退出编辑。

（4）使环境变量生效：source ~/.bashrc

4. 配置Hadoop集群

（1）进入Hadoop目录：cd /hadoop/hadoop-3.2.1

（2）复制etc/hadoop目录下的所有文件到集群其他节点：scp -r etc/hadoop hadoop@node2:/hadoop/hadoop-3.2.1

（3）编辑core-site.xml文件，配置HDFS存储目录：

（4）编辑hdfs-site.xml文件，配置HDFS副本因子：

（5）编辑mapred-site.xml文件，配置MapReduce运行模式：

5. 格式化HDFS

（1）进入Hadoop目录：cd /hadoop/hadoop-3.2.1

（2）格式化HDFS：bin/hdfs namenode -format

6. 启动Hadoop集群

（1）启动NameNode：sbin/start-dfs.sh

（2）启动SecondaryNameNode：sbin/start-secondary-namenode.sh

（3）启动ResourceManager：sbin/start-yarn.sh

（4）启动NodeManager：yarn-daemon.sh start nodemanager

（5）启动HistoryServer：yarn-daemon.sh start historyserver

四、测试Hadoop集群

1. 使用Hadoop命令查看集群状态

（1）进入Hadoop目录：cd /hadoop/hadoop-3.2.1

（2）使用hdfs dfs -ls命令查看HDFS文件系统：

hdfs dfs -ls /hadoop-3.2.1

2. 使用Hadoop命令上传文件到HDFS

（1）进入Hadoop目录：cd /hadoop/hadoop-3.2.1

（2）使用hdfs dfs -put命令上传文件到HDFS：

hdfs dfs -put /path/to/local/file /hadoop-3.2.1

3. 使用Hadoop命令下载文件到本地

（1）进入Hadoop目录：cd /hadoop/hadoop-3.2.1

（2）使用hdfs dfs -get命令下载文件到本地：

hdfs dfs -get /hadoop-3.2.1 /path/to/local/file

五、总结

本文详细介绍了在虚拟机环境下一键安装Hadoop集群的步骤，包括环境准备、虚拟机安装、Hadoop集群安装和测试，通过本文的步骤，读者可以轻松搭建一个Hadoop集群，为后续的Hadoop学习打下基础。