虚拟机安装hadoop安装详细步骤图,虚拟机安装hadoop安装详细步骤,基于虚拟机环境的Hadoop安装详细步骤及图解
- 综合资讯
- 2024-10-04 19:11:36
- 1

虚拟机安装Hadoop步骤详解,包括安装过程图解。本文详细介绍了基于虚拟机环境的Hadoop安装步骤,涵盖从基础配置到环境搭建的各个环节。...
本文详细介绍了在虚拟机环境下安装Hadoop的步骤和图解,包括虚拟机安装Hadoop的详细步骤及安装图示,为读者提供了基于虚拟机环境的Hadoop安装指导。
Hadoop是一个开源的分布式计算框架,它能够对大规模数据集进行分布式处理,随着大数据时代的到来,Hadoop在各个领域都得到了广泛的应用,本文将详细讲解如何在虚拟机环境下安装Hadoop,包括环境搭建、配置以及启动过程。
准备工作
1、虚拟机软件:VMware Workstation、VirtualBox等。
2、操作系统:Linux(推荐CentOS 7)
3、JDK:Java Development Kit,版本为1.8
4、Hadoop:版本为3.3.4
安装步骤
1、配置虚拟机
(1)新建虚拟机,选择Linux系统,安装CentOS 7。
(2)根据需求配置虚拟机内存、CPU、硬盘等资源。
(3)安装完成后,进入虚拟机,根据提示设置root密码。
2、安装JDK
(1)下载JDK安装包:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
(2)解压安装包:tar -zxvf jdk-8u241-linux-x64.tar.gz
(3)配置环境变量:打开终端,编辑.bashrc文件。
vi ~/.bashrc
添加以下内容:
export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
(4)使配置生效:source ~/.bashrc
(5)验证JDK安装:java -version
3、安装Hadoop
(1)下载Hadoop安装包:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
(2)解压安装包:tar -zxvf hadoop-3.3.4.tar.gz
(3)移动Hadoop安装目录:mv hadoop-3.3.4 /usr/local/hadoop
4、配置Hadoop
(1)编辑hadoop-env.sh:打开终端,编辑hadoop根目录下的etc/hadoop/hadoop-env.sh文件。
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加以下内容:
export JAVA_HOME=/usr/local/jdk1.8.0_241
(2)编辑core-site.xml:打开终端,编辑hadoop根目录下的etc/hadoop/core-site.xml文件。
vi /usr/local/hadoop/etc/hadoop/core-site.xml
添加以下内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
(3)编辑hdfs-site.xml:打开终端,编辑hadoop根目录下的etc/hadoop/hdfs-site.xml文件。
vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml
添加以下内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(4)编辑mapred-site.xml:打开终端,编辑hadoop根目录下的etc/hadoop/mapred-site.xml文件。
vi /usr/local/hadoop/etc/hadoop/mapred-site.xml
添加以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5)编辑yarn-site.xml:打开终端,编辑hadoop根目录下的etc/hadoop/yarn-site.xml文件。
vi /usr/local/hadoop/etc/hadoop/yarn-site.xml
添加以下内容:
<configuration>
<property>
<name>yarn.resourcemanager.host</name>
<value>localhost</value>
</property>
</configuration>
5、格式化HDFS
(1)进入hadoop根目录:cd /usr/local/hadoop
(2)执行格式化命令:bin/hdfs format
6、启动Hadoop服务
(1)启动HDFS:bin/start-dfs.sh
(2)启动YARN:bin/start-yarn.sh
(3)查看服务状态:浏览器访问http://localhost:9870/(HDFS)和http://localhost:8088/(YARN)
通过以上步骤,我们已经在虚拟机环境下成功安装了Hadoop,在实际应用中,您可以根据需求调整Hadoop配置,以便更好地满足业务需求,希望本文对您有所帮助。
本文链接:https://zhitaoyun.cn/131039.html
发表评论