zookeeper-3.4.10的安装配置

介绍zookeeper-3.4.10的安装配置

1. 环境准备

• 服务器集群 我准备了4台虚拟机，主机名分别是hadoop01、hadoop02、hadoop03、hadoop04 虚拟机集群的准备，可以参考以下两篇文章： 在Windows中安装一台Linux虚拟机 通过已有的虚拟机克隆四台虚拟机
• zookeeper安装包 下载地址：http://mirrors.hust.edu.cn/apache/zookeeper/ 我用是的：zookeeper-3.4.10.tar.gz

2.角色说明

• hadoop01：leader或follower
• hadoop02：leader或follower
• hadoop03：leader或follower
• hadoop04：observer

leader：能接收所有的读写请求，也可以处理所有的读写请求，而且整个集群中的所有写数据请求都是由leader进行处理

follower：能接收所有的读写请求，但是读数据请求自己处理，写数据请求转发给leader

observer：跟follower的唯一的区别就是没有选举权和被选举权

因为hadoop01、hadoop02和hadoop03具有选举权，所以它们的角色是变化的，当leader宕机，会重新选举leader，而hadoop04的角色是observer，所以它没有选举和被选举权，只负责处理请求

要求：整个zookeeper集群中可以参与选举的节点的个数为奇数个，因为zookeeper的选举机制为半数机制，即超过一半的节点投票给某个节点，该节点就是新的leader

3. 步骤

(1) 上传到服务器并解压

tar -zxvf zookeeper-3.4.10.tar.gz

(2) 配置环境变量，加入ZOOKEEPER_HOME

vim ~/.bash_profile

# 加入内容
export ZOOKEEPER_HOME=/home/hadoop/apps/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

# 别忘了source
source ~/.bash_profile

(3) 配置zoo.cfg文件

• 进入ZOOKEEPER_HOME/conf目录
• 复制zoo_sample.cfg文件为zoo.cfg：cp zoo_sample.cfg zoo.cfg
• 编辑zoo.cfg文件，如下

vim zoo.cfg

# 集群各节点的心跳时间间隔，保持默认即可(2s)
tickTime=2000

# 此配置表示，允许follower连接并同步到leader的初始化连接时间
# 它以tickTime的倍数来表示
# 当超过设置倍数的tickTime时间，则连接失败
# 保持默认即可(10次心跳的时间，即20s)
initLimit=10

# follower与leader通信，从发送请求到接收到响应的等待时间的最大值，保持默认即可，即10s
# 如果10s内没有收到响应，本次请求就失败
syncLimit=5

# zookeeper的数据存放的位置，默认是/tmp/zookeeper，一定要改，因为tmp目录会不定时清空
dataDir=/home/hadoop/zkdata

# 客户端连接的端口号，保持默认即可
clientPort=2181

# 以下内容手动添加
# server.id=主机名:心跳端口:选举端口
# 注意：这里给每个节点定义了id，这些id写到配置文件中
# id为1-255之间的任意的不重复的数字，一定要记得每个节点的id的对应关系
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
server.4=hadoop04:2888:3888:observer

(4)同步配置

我是在hadoop01节点中进行解压配置的，所以分发给其他3个节点

scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop02:/home/hadoop/apps/
scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop03:/home/hadoop/apps/
scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop04:/home/hadoop/apps/

给其他节点配置ZOOKEEPER_HOME环境变量

(4)在配置的dataDir目录下新建myid文件，并写入id

我配置的dataDir=/home/hadoop/zkdata，所以：

mkdir -p /home/hadoop/zkdata
cd /home/hadoop/zkdata
# echo 命令会先创建文件再写入
echo 1 > myid

注意：我配置的集群id信息为：

server.1=hadoop01:2888:3888

server.2=hadoop02:2888:3888

server.3=hadoop03:2888:3888

server.4=hadoop04:2888:3888:observer

那么，在hadoop01的dataDir下的myid文件中的id就是1，hadoop02的dataDir下的myid文件中的id就是2，以此类推，一定要与配置文件中的配置相对应!

(5) 启动集群并验证

启动集群(每个节点都要启动)

zkServer.sh start

查看每个节点的状态

zkServer.sh status

hadoop01、hadoop02、hadoop03的角色一定是leader或者follower，hadoop04一定是observer

zookeeper集群安装配置成功

至此，zookeeper集群安装配置成功!

(6)说明

给节点配置的id为1-255之间的一个数字，那么当zookeeper集群的数量超过255怎么办？

答：zookeeper集群的性能会随着节点数的增多达到峰值，再增加节点数量，性能会急剧下降，通常来说，超过20多台节点后性能就会下降，所以，即使可以一直给节点编号，也不建议在zookeeper集群中配置太多的节点。