虚拟机安装hadoop安装详细步骤是什么，基于虚拟机环境的Hadoop安装详细步骤及注意事项

在虚拟机中安装Hadoop的详细步骤包括：创建虚拟机，安装Java环境，配置网络，下载Hadoop，解压并配置Hadoop环境变量，格式化HDFS，启动Hadoop服务，配置SSH免密登录等。注意事项包括确保Java环境正确安装，网络畅通，正确配置Hadoop环境变量，以及正确设置SSH免密登录等。

准备工作

1、确保虚拟机系统为Linux操作系统，如CentOS 7、Ubuntu等。

2、确保虚拟机已安装Java环境，版本为1.8或更高。

3、确保虚拟机网络配置正确，能够访问互联网。

4、下载Hadoop安装包，建议下载与虚拟机操作系统兼容的版本。

安装步骤

1、解压Hadoop安装包

将下载的Hadoop安装包解压到虚拟机的指定目录，例如/usr/local/hadoop。

tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/

2、配置环境变量

在虚拟机的/etc/profile文件中添加Hadoop的环境变量：

vi /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出编辑器，然后执行以下命令使环境变量生效：

source /etc/profile

3、配置Hadoop

进入Hadoop配置目录：

cd $HADOOP_HOME/etc/hadoop

（1）配置hadoop-env.sh

编辑hadoop-env.sh文件，配置Java环境：

vi hadoop-env.sh

在文件中找到export JAVA_HOME配置行，将其修改为：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.x86_64

（2）配置core-site.xml

编辑core-site.xml文件，配置Hadoop运行时的基本参数：

vi core-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data/tmp</value>
    </property>
</configuration>

（3）配置hdfs-site.xml

编辑hdfs-site.xml文件，配置HDFS的存储参数：

vi hdfs-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（4）配置mapred-site.xml

由于Hadoop 3.x版本已将MapReduce集成到YARN中，因此需要将mapred-site.xml文件复制为mapred-site.xml.template，然后编辑它：

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）配置yarn-site.xml

编辑yarn-site.xml文件，配置YARN的运行参数：

vi yarn-site.xml

在文件中添加以下内容：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

4、格式化HDFS

在配置完成后，需要格式化HDFS文件系统：

hdfs namenode -format

5、启动Hadoop服务

（1）启动NameNode：

start-dfs.sh

（2）启动ResourceManager：

start-yarn.sh

（3）启动HistoryServer：

mr-jobhistory-daemon.sh start historyserver

6、验证Hadoop安装

在浏览器中访问以下地址，查看Hadoop Web界面：

http://localhost:50070

在浏览器中访问以下地址，查看YARN Web界面：

http://localhost:8088

至此，Hadoop已成功安装在虚拟机环境中。

注意事项

1、在配置环境变量时，请确保JAVA_HOME指向正确的Java安装目录。

2、在配置HDFS存储参数时，请根据实际情况调整dfs.replication的值。

3、在格式化HDFS文件系统时，如果出现错误，请检查NameNode进程是否正常启动。

4、在启动Hadoop服务时，如果出现错误，请检查相关日志文件，以便定位问题。

通过以上步骤，您可以在虚拟机环境中成功安装Hadoop，希望本文对您有所帮助。