基于Zookeeper的Hadoop HA集群的搭建

2023-01-27

字数：4.3k字 | 预计阅读时长：18分钟

摘要：本文主要记录📝在华为云服务器里Hadoop HA安装配置（HDFS的HA和YARN的HA、zookeeper相关配置介绍），以及补充学到的知识点，文章以图文形式呈现，超详细哦🌿。

一、前言

HDFS高可用实现原理

主要配置了活动-备用（active-standby）NameNode。当活动NameNode失效，备用NameNode就会接管它的任务并响应来自客户端的服务请求，不会有任何明显中断。

ZooKeeper介绍

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件，在大数据领域得到了广泛的应用。它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作，为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
ZooKeeper的基本运转流程：
1.选举Leader
2.同步数据
3.选举Leader过程中算法有很多，但要达到的选举标准是一致的。
4.Leader要具有最高的执行ID，类似root权限
5.集群中大多数的机器得到响应并接受选出的Leader

二、环境准备

三台服务器（master、slave1、slave2）
各节点完成了IP映射与ssh免密
🌱没完成的可以看下这篇文章《云服务器IP映射与ssh免密登录》
配置好了JDK
🌱没完成的可以看下这篇文章《Hadoop完全分布式配置》
了解Hadoop基础知识
🌱想了解的可以看下这篇文章《Hadoop知识点汇总》

Hadoop HA的最终规划

master	slave1	slave2
Zookeeper	Zookeeper	Zookeeper
JournalNode	JournalNode	JournalNode
DataNode	DataNode	DataNode
NodeManager	NodeManager	NodeManager
NameNode	NameNode	-
ResourceManager	ResourceManager	-
ZKFC	ZKFC	-

Secondary NameNode的角色被备用NameNode所包含，备用NameNode为活动的NameNode命名空间设置周期性检查点

三、配置Zookeeper

1.下载zookeeper

首先从官网下载zookeeper，这里以Zookeeper3.4.10为例，并上传到master的/usr/local目录下

[root@master ~]# cd /usr/local
新建zookeeper目录
[root@master local]# mkdir zookeeper
解压
[root@master local]# tar -zxvf zookeeper-3.4.10.tar.gz 
解压好的JDK将其移动到java目录下
[root@master local]# mv jzookeeper-3.4.10 zookeeper
[root@master local]# cd zookeeper
[root@master zookeeper]# 
可以切换到zookeeper目录下查看解压好的文件夹

2.配置zookeeper环境变量

在profile文件末尾添加zookeeper的环境变量（不可以有空格）：

[root@master ~]# vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_HOME=/usr/local/hive/hive-2.3.4
export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.4.10
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin

20230127164127

最后：source /etc/profile使刚刚的配置生效

1	[root@master ~]# source /etc/profile

3.配置zoo.cfg文件

将zoo.cfg配置文件新增如下配置：

#dataDir配置项值,修改为如下值（可根据实际情况改变）：
dataDir=/usr/local/zookeeper/data

#dataLogDir：用于配置ZooKeeper服务器存储事务日志文件的路径
#可以不添加
dataLogDir=/usr/local/zookeeper/datalog

#外网IP访问配置，云服务器最好加上，不然后面status报错
quorumListenOnAllIPs=true

#每一行分别是ip，通信端口，选举leader端口
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

修改后配置文件如下图所示：
20230128143217

4.配置myid文件

指定myid。在配置项dataDir指定目录下，新建myid文件，并写入数字1（即第1个服务器节点），使用以下命令：

echo 1 > /usr/local/zookeeper/data/myid

20230128143532

⚠️没有的文件夹需要自己手动创建

5.配置另外两个节点

# 把上面配置好的zookeeper文件夹直接传到两个子节点
[root@master data]# cd ../../..
[root@master local]# scp -r zookeeper slave1:/usr/local/
[root@master local]# scp -r zookeeper slave2:/usr/local/

#把/etc/profile文件里配置zookeeper的环境变量传过去
[root@master etc]# scp -r profile slave1:/etc
[root@master etc]# scp -r profile slave2:/etc

#别忘了在对应节点source一下
[root@slave1 ~]# source /etc/profile
[root@slave2 ~]# source /etc/profile

⚠️在两个子节点上把myid文件里面的 1 给分别替换成 2 和 3

20230128143939

6.配置项介绍

基础配置

tickTime：Client和Server通信心跳数

Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每隔tickTime的时间就会发送一个心跳。tickTime以毫秒为单位

The number of milliseconds of each tick
tickTime=2000

initLimit：LF初始通信时限
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量)

The number of ticks that the initial
synchronization phase can take
initLimit=10

syncLimit：LF同步通信时限
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量)

The number of ticks that can pass between
sending a request and getting an acknowledgement
syncLimit=5

dataDir：数据文件目录
Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。

the directory where the snapshot is stored.
do not use /tmp for storage, /tmp here is just example sakes.
dataDir=/usr/local/zookeeper/data

clientPort：客户端连接端口
客户端连接Zookeeper服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。

the port at which the clients will connect
clientPort=2181

maxClientCnxns：客服端最大连接数
默认值是60，一个客户端能够连接到同一个服务器上的最大连接数，根据IP来区分。如果设置为0，表示没有任何限制。设置该值一方面是为了防止DoS攻击

the maximum number of client connections.
increase this if you need to handle more clients
maxClientCnxns=60

高级配置

一般情况下，不需要更改或添加以下配置，根据用户实际需求再添加或修改即可

dataLogDir：用于配置ZooKeeper服务器存储事务日志文件的路径
globalOutstandingLimit：限制系统中未处理的请求数量不超过globalOutstandingLimit设置的值。默认的限制是1000
preAllocSize：用于配置ZooKeeper事务日志文件预分配的磁盘空间大小。默认的块大小是64M
snapCount: ZooKeeper将事务记录到事务日志中。当snapCount 个事务被写到一个日志文件后，启动一个快照并创建一个新的事务日志文件。snapCount的默认值是100000
traceFile：如果定义了该选项，那么请求将会记录到一个名为 traceFile.year.month.day的跟踪文件中
autopurge.snapRetainCount: 当启用自动清理功能后， ZooKeeper将只保留autopurge.snapRetainCount个最近的数据快照(dataDir)和对应的事务日志文件(dataLogDir)，其余的将会删除掉。默认值是3，最小值也是3
autopurge.purgeInterval：用于配置触发清理任务的时间间隔，以小时为单位。要启用自动清理，可以将其值设置为一个正整数(大于1)。默认值是0
syncEnabled: 和参与者一样，观察者现在默认将事务日志以及数据快照写到磁盘上, 这将减少观察者在服务器重启时的恢复时间。将其值设置为false可以禁用该特性。默认值是true
minSessionTimeout：服务器允许客户端会话的最小超时时间，以毫秒为单位。默认值是2倍的tickTime
maxSessionTimeout：服务器允许客户端会话的最大超时时间，以毫秒为单位。默认值是20倍的tickTime

日志输出配置

ZooKeeper的日志输出信息都打印到了zookeeper.out文件中，这样输出路径没有办法控制。

通过修改zkEnv.sh可以达到控制日志输出信息的位置。使用如下命令

vi /usr/local/zookeeper/zookeeper-3.4.10/bin/zkEnv.sh

根据实际情况修改ZOO_LOG_DIR的值并保存即可

7.测试Zookeeper

在三个节点上分别执行命令，启动服务：
zkServer.sh start
在三个节点上分别执行命令，查看状态：
zkServer.sh status
正确结果应该是：三个节点中其中一个是leader，另外两个是follower
在三个节点上分别利用jps命令查看当前进程:
检查三个节点是否都有QuromPeerMain进程
如下图所示安装配置成功：
master
slave1
slave2

四、配置Hadoop HA集群

因为在Hadoop完全分布式的基础上进行配置，准备环境（包括hadoop-env.sh、slaves、配置Hadoop环境变量）详情请参照《Hadoop完全分布式配置》
接下来直接配置Hadoop HA🍃

1.core-site.xml

<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <!-- 把两个NameNode的地址组装成一个集群mycluster -->
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!--指定hadoop数据临时存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-2.7.7/data/tmp</value>
    </property>
    <property>
<!-- 如果需要自动故障转移的话就需要依赖zookeeper 所以如果不需要自动故障转移可以不配置此参数 -->
                <name>ha.zookeeper.quorum</name>
                <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
</configuration>

20230128151914

2.hdfs-site.xml

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<!-- 指定副本的数量  -->
	<name>dfs.replication</name>
	<value>2</value>
</property>
    
    <property>
<!-- 完全分布式集群名称 nameservice为core-site.xml指定的 -->
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
<!-- 集群中NameNode节点都有哪些 -->
    	<name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
<!-- nn1的RPC通信地址 -->
    	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>master:9000</value>
    </property>
    <property>
<!-- nn2的RPC通信地址 -->
    	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>slave1:9000</value>
    </property>
    <property>
<!-- nn1的http通信地址 -->
    	<name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>master:50070</value>
    </property>
    <property>
<!-- nn2的http通信地址 -->
    	<name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>slave1:50070</value>
    </property>
    
    <property>
<!-- 声明journalnode服务器存储目录 也就是namenode在本地磁盘存放数据的位置-->
    	<name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop/hadoop-2.7.7/data/jn</value>
    </property>
    
    <property>
<!-- 指定NameNode元数据(edits)在JournalNode上的存放位置 -->
    	<name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
    
    <property>
<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
    	<name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <property>
<!-- 开启NameNode失败自动切换,监控体系发现activi挂了,把备用的启用 -->
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
</property>
    
<property>
<!-- 配置隔离机制方法，多个机制用换行符分隔，即每个机制暂用一行主要是防止脑裂,确保死的彻底 即同一时刻只能有一台服务器对外响应 -->
       <name>dfs.ha.fencing.methods</name>
         <value>
			sshfence
			shell(/bin/true)
		</value>
</property>
<property>
 <!-- 使用sshfence隔离机制时需要ssh免登陆,注意这里是id_rsa文件地址  -->
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
	<!-- 如果直接使用root,则路径为 /root/.ssh/id_rsa -->
</property>

    <!-- 设置NameNode存放的路径 ，可以不配置，配置了的后面自己创建好对应文件夹-->
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:///usr/local/hadoop/hadoop-2.7.7/hdfs/name</value>    
    </property>    
    <!-- 设置DataNode存放的路径 ，可以不配置，配置了的后面自己创建好对应文件夹-->
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:///usr/local/hadoop/hadoop-2.7.7/hdfs/data</value>    
    </property>    
</configuration>

20230128152416

20230128152437

3.mapred-site.xml

<configuration>
 <property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>    
 </property>    
</configuration>

20230128152521

4.yarn-site.xml

<configuration>
<!-- 开启YARN高可用 -->
<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
</property>

<!-- 指定RM的cluster id,该value可以随意 -->
<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
</property>

<!-- 指定RM的名字 -->
<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
</property>

<!-- 分别指定RM的地址 -->
<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave1</value>
</property>

<!-- 指定zookeeper集群地址 -->
<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
</property>

<!-- 要运行MapReduce程序必须配置的附属服务 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 启用自动恢复 -->
<property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
</property>

<!-- 指定resourcemanager的状态信息存储在zookeeper集群上 -->
<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>