分布式实时消息队列Kafka(四)
知识点01:课程回顾
- Kafka中生产者的数据分区规则是什么?
- 先判断是否指定了分区
- 指定分区:写入对应分区
- 没有指定:判断是否指定了Key
- 指定了Key:按照Key的Hash分区
- 没有指定Key:按照黏性分区
- 特点:优先将所有数据构建一个Batch,提交到一个分区中,尽量保证数据分配均衡
- 自定义分区规则
- step1:开发一个类实现Partitioner
- step2:实现一个partition方法
- step3:生产者指定分区器
- Kafka中消费者消费数据的规则是什么?
- 基础规则:每个消费者消费Topic分区的数据按照Offset进行消费
- 第一次消费:根据属性决定:latest【最新位置】,earliest【最早位置:-1,请求 -1 + 1】
- 从第二次开始:自动将上一次的位置 + 1向Kafka进行请求
- 问题1:如果消费者故障了,重启消费者,如何能知道上一次消费的位置?
- 如果消费者遇到故障,Kafka怎么保证不重复不丢失?
- Kafka将每个消费者消费的offset存储在一个独立的Topic中:__consumer_offsets
- 如果消费者故障,重启,从这个Topic查询上一次的offset + 1
- 问题2:这个Topic中记录的offset是怎么来的?
- 默认机制:根据时间周期由消费者自动提交
- 导致问题:数据重复或者数据丢失问题
- 解决问题:根据处理的结果来实现基于每个分区的手动提交
- 消费一个分区、处理一个分区、处理成功,提交这个分区的offset
- 工作中:不需要管使用手动提交还是自动提交?
- 因为工作中不利用Kafka的存储来实现offset的恢复
- 一般我们自己存储offset:将每个分区的offset存储在MySQL、Zookeeper、Redis
- 如果程序故障,从MySQL、Zookeeper、Redis中读取上一次的Offset
- Kafka中__consumer_offsets的作用是什么?
- 用于Kafka自己实现保证消费者消费数据不丢失不重复的问题:记录所有消费者Offset
知识点02:课程目标
- 消费者组中多个消费者如何分配分区消费的问题?
- 分配的规则是什么?
- 范围分配:默认的分配规则
- 轮询分配
- 黏性分配:建议使用的分配规则
- Kafka中数据读写的流程
- 分布式存储工具
- Zookeeper:分布式协调服务工具
- HDFS:分布式文件系统
- Hbase:分布式NoSQL数据库
- Kafka:分布式消息队列
- 写的流程是什么?为什么写的很快?
- 读的流程是什么?为什么读的很快?
- Kafka如何自动清理过期的数据
知识点03:消费分配策略:基本规则及分配策略
知识点04:消费分配策略:RangeAssignor
- 目标:掌握范围分配策略的规则及应用场景
- 路径
- step1:范围分配策略的规则是什么?
- step2:范围分配的优缺点是什么?
- 实施
- 范围分配规则
- Kafka中默认的分配规则
- 每个消费者消费一定范围的分区,尽量的实现将分区均分给不同的消费者,如果不能均分,优先将分区分配给编号小的消费者
- 6个分区:part0 ~ part5
- 2个消费者
- C1:part0 ~ part2
- C2:part3 ~ part5
- 4个消费者
- C1:part0 part1
- C2:part2 part3
- C3:part4
- C4:part5
- 举例
- 假设一:三个消费者,消费1个Topic,Topic1有6个分区
消费者分区C1T1【0,1】C2T1【2,3】C3T1【4,5】
- 假设二:三个消费者,消费1个Topic,Topic1有7个分区
消费者分区C1T1【0,1,2】C2T1【3,4】C3T1【5,6】
- 假设三:三个消费者,消费3个Topic,Topic1、Topic2、Topic3各有7个分区
消费者分区C1T1【0,1,2】 T2【0,1,2】 T3【0,1,2】C2T1【3,4】 T2【3,4】 T3【3,4】C3T1【5,6】 T2【5,6】 T3【5,6】
- 范围分配优点
- 范围分配缺点
- 如果Topic的个数比较多,而且不能均分,导致负载不均衡问题
- 应用:Topic个数少或者每个Topic都均衡的场景
- 小结
- 规则:每个消费者消费一定范围的分区,尽量做均分,如果不能均分,优先将分区分配给编号小的消费者
- 应用:适合于Topic个数少或者每个Topic都能均分场景
知识点05:消费分配策略:RoundRobinAssignor
知识点06:消费分配策略:StickyAssignor
- 负载均衡的场景
- 假设三:如果假设一中的C3出现故障
- 假设一
消费者分区C1T1【0】 T2【0】C2T1【1】 T2【1】C3T1【2】 T2【2】
- 轮询:将所有分区重新分配
消费者分区C1T1【0】 T1【2】 T2【1】C2T1【1】 T2【0】 T2【2】
- 黏性:直接故障的分区均分给其他的消费者,其他消费者不用改变原来的分区,降低网络IO消耗
消费者分区C1T1【0】 T2【0】 T1【2】C2T1【1】 T2【1】 T2【2】
- 假设四:如果假设二中的C1出现故障
- 假设二:轮询
消费者分区C1T1【0】C2T2【0】C3T2【1】 T3【0】 T3【1】 T3【2】
- 轮询负载均衡
消费者分区C2T1【0】 T2【1】C3T2【0】T3【0】 T3【1】 T3【2】
- 假设二:黏性
消费者分区C1T1【0】C2T2【0】 T2【1】C3T3【0】 T3【1】 T3【2】
- 黏性负载均衡
消费者分区C2T2【0】 T2【1】 T1【0】C3T3【0】 T3【1】 T3【2】
- 小结
- 规则:尽量保证所有分配均衡,尽量保证每个消费者如果出现故障,剩余消费者依旧保留自己原来消费的分区
- 特点
- 分配更加均衡
- 如果消费者出现故障,提高性能,避免重新分配,将多余的分区均衡的分配给剩余的消费者
知识点07:Kafka存储机制:存储结构
知识点08:Kafka存储机制:写入过程
- 目标:掌握Kafka数据的写入过程
- 路径
- Kafka的数据是如何写入的?
- 为什么Kafka写入速度很快?
- 实施
- step1:生产者生产每一条数据,将数据放入一个batch批次中,如果batch满了或者达到一定的时间,提交写入请求
- step2:Kafka根据分区规则将数据写入分区,获取对应的元数据,将请求提交给leader副本所在的Broker
- step3:先写入这台Broker的PageCache中
- Kafka也用了内存机制来实现数据的快速的读写:不同于Hbase的内存设计
- Hbase:JVM堆内存
- 所有Java程序都是使用JVM堆内存来实现数据管理
- 缺点
- GC:从内存中清理掉不再需要的数据,导致GC停顿,影响性能
- 如果HRegionServer故障,JVM堆内存中的数据就丢失了,只能通过HLog恢复,性能比较差
- Kafka:操作系统Page Cache
- 选用了操作系统自带的缓存区域:PageCache
- 由操作系统来管理所有内存,即使Kafka Broker故障,数据依旧存在PageCache中
- step4:操作系统的后台的自动将页缓存中的数据SYNC同步到磁盘文件中:最新的Segment的.log中
- step5:其他的Follower到Leader中同步数据
- 小结
- Kafka的数据是如何写入的?
- step2:Kafka根据分区规则,检索元数据,将请求转发给Leader副本对应Broker
- step3:先写Broker的PageCache
- step4:后台实现将PageCache中顺序写同步到磁盘中:.log文件
- step5:Follower同步Leader副本的数据
- 为什么Kafka写入速度很快?
- 应用了PageCache的页缓存机制
- 顺序写磁盘的机制
知识点09:Kafka存储机制:Segment
知识点10:Kafka存储机制:读取过程
- 目标:掌握Kafka数据的读取过程
- 路径
- Kafka数据是如何被读取的?
- 为什么Kafka读取数据也很快?
- 实施
- step1:消费者根据Topic、Partition、Offset提交给Kafka请求读取数据
- step2:Kafka根据元数据信息,找到对应的这个分区对应的Leader副本
- step3:请求Leader副本所在的Broker,先读PageCache,通过零拷贝机制【Zero Copy】读取PageCache
- step4:如果PageCache中没有,读取Segment文件段,先根据offset找到要读取的那个Segment
- step5:将.log文件对应的.index文件加载到内存中,根据.index中索引的信息找到Offset在.log文件中的最近位置
- 最近位置:index中记录的稀疏索引【不是每一条数据都有索引】
- step6:读取.log,根据索引读取对应Offset的数据
- 小结
- Kafka数据是如何被读取的?
- step1:消费者请求读取数据:Topic+Partition+Offset
- step2:Kafka根据元数据,找到对应分区的leader副本进行检索
- step3:先检索PageCache
- 如果有,就通过零拷贝机制从PageCache中读取数据
- 如果没有,就读取Segment文件段
- step4:先根据Offset找到对应的Segment的一对文件
- step5:先读index,找到offset对应的数据在.log文件中的最近位置
- step6:根据位置,读取.log文件
- 为什么Kafka读取数据也很快?
- 优先基于PageCache内存的读取,使用零拷贝机制
- 按照Offset有序读取每一条
- 构建Segment文件段
- 构建index索引
知识点11:Kafka存储机制:index索引设计
知识点12:Kafka数据清理规则
本文参与
腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/07/09 ,如有侵权请联系
cloudcommunity@tencent.com 删除