背景

生产中Hadoop分布式集群中可能存在着单点故障问题，如果Namenode宕机或是软硬件升级，集群将无法使用，所以进行搭建高可用的来消除单点故障。

Hadoop介绍

Hadoop集群一般为一个NameNode和ResourceManager，但在实际生产环境中，若恰好具有NameNode和ResourceManager的节点出现故障，那么整个Hadoop集群将会崩溃，这是因为在HDFS中NameNode是系统的核心节点，ResourceManager负责整个系统的资源管理和分配。

为了解决单点故障问题，在Hadoop2后中引入了高可用机制，支持NameNode和ResourceManager一个主节点和一个备用节点，而在Hadoop3中继续对其进行了优化和提升，它支持一个主节点和多个备用节点。所谓高可用（High Availability, HA）就是7*24 小时不中断服务，消除单点故障。

Hadoop HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA，可以通过配置多个NameNode和ResourceManager(Active/Standby)实现在集群中的热备来解决上述问题。

环境准备：

图片

节点相关进程如下：

图片

• 操作系统：centos8
• 内存：4G
• Java 版本：jdk8

HDFS和YARN HA集群搭建

3.1 下载hadoop安装包

官网https://hadoop.apache.org/下载hadoop 3.3.0安装包解压至/usr/local下3台机器需修改的配置文件目录为/usr/local/hadoop/etc/hadoop下。

3.2  hadoop.env

export JAVA_HOME=/usr/local/jdk #配置jdk路径
#添加两行
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root