首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >分布式实时消息队列Kafka(四)

分布式实时消息队列Kafka(四)

作者头像
Maynor
发布于 2021-12-07 11:01:10
发布于 2021-12-07 11:01:10
1.7K0
举报

分布式实时消息队列Kafka(四)

知识点01:课程回顾

  1. Kafka中生产者的数据分区规则是什么?
    • 先判断是否指定了分区
      • 指定分区:写入对应分区
      • 没有指定:判断是否指定了Key
        • 指定了Key:按照Key的Hash分区
        • 没有指定Key:按照黏性分区
          • 特点:优先将所有数据构建一个Batch,提交到一个分区中,尽量保证数据分配均衡
    • 自定义分区规则
      • step1:开发一个类实现Partitioner
      • step2:实现一个partition方法
      • step3:生产者指定分区器
  2. Kafka中消费者消费数据的规则是什么?
    • 基础规则:每个消费者消费Topic分区的数据按照Offset进行消费
    • 第一次消费:根据属性决定:latest【最新位置】,earliest【最早位置:-1,请求 -1 + 1】
    • 从第二次开始:自动将上一次的位置 + 1向Kafka进行请求
    • 问题1:如果消费者故障了,重启消费者,如何能知道上一次消费的位置?
      • 原因:offset保存内存中,重启以后就没有了
  3. 如果消费者遇到故障,Kafka怎么保证不重复不丢失?
    • Kafka将每个消费者消费的offset存储在一个独立的Topic中:__consumer_offsets
    • 如果消费者故障,重启,从这个Topic查询上一次的offset + 1
    • 问题2:这个Topic中记录的offset是怎么来的?
      • 默认机制:根据时间周期由消费者自动提交
      • 导致问题:数据重复或者数据丢失问题
      • 解决问题:根据处理的结果来实现基于每个分区的手动提交
        • 消费一个分区、处理一个分区、处理成功,提交这个分区的offset
    • 工作中:不需要管使用手动提交还是自动提交?
      • 因为工作中不利用Kafka的存储来实现offset的恢复
      • 一般我们自己存储offset:将每个分区的offset存储在MySQL、Zookeeper、Redis
      • 如果程序故障,从MySQL、Zookeeper、Redis中读取上一次的Offset
  4. Kafka中__consumer_offsets的作用是什么?
    • 用于Kafka自己实现保证消费者消费数据不丢失不重复的问题:记录所有消费者Offset

知识点02:课程目标

  1. 消费者组中多个消费者如何分配分区消费的问题?
    • 分配的规则是什么?
    • 范围分配:默认的分配规则
    • 轮询分配
    • 黏性分配:建议使用的分配规则
  2. Kafka中数据读写的流程
    • 分布式存储工具
      • Zookeeper:分布式协调服务工具
      • HDFS:分布式文件系统
      • Hbase:分布式NoSQL数据库
      • Kafka:分布式消息队列
    • 写的流程是什么?为什么写的很快?
    • 读的流程是什么?为什么读的很快?
    • Kafka如何自动清理过期的数据

知识点03:消费分配策略:基本规则及分配策略

知识点04:消费分配策略:RangeAssignor

  • 目标:掌握范围分配策略的规则及应用场景
  • 路径
    • step1:范围分配策略的规则是什么?
    • step2:范围分配的优缺点是什么?
  • 实施
    • 范围分配规则
      • Kafka中默认的分配规则
      • 每个消费者消费一定范围的分区,尽量的实现将分区均分给不同的消费者,如果不能均分,优先将分区分配给编号小的消费者
      • 6个分区:part0 ~ part5
        • 2个消费者
          • C1:part0 ~ part2
          • C2:part3 ~ part5
        • 4个消费者
          • C1:part0 part1
          • C2:part2 part3
          • C3:part4
          • C4:part5
    • 举例
      • 假设一:三个消费者,消费1个Topic,Topic1有6个分区 消费者分区C1T1【0,1】C2T1【2,3】C3T1【4,5】
      • 假设二:三个消费者,消费1个Topic,Topic1有7个分区 消费者分区C1T1【0,1,2】C2T1【3,4】C3T1【5,6】
      • 假设三:三个消费者,消费3个Topic,Topic1、Topic2、Topic3各有7个分区 消费者分区C1T1【0,1,2】 T2【0,1,2】 T3【0,1,2】C2T1【3,4】 T2【3,4】 T3【3,4】C3T1【5,6】 T2【5,6】 T3【5,6】
        • 问题:负载不均衡
    • 范围分配优点
      • 如果Topic的个数比较少,分配会相对比较均衡
    • 范围分配缺点
      • 如果Topic的个数比较多,而且不能均分,导致负载不均衡问题
    • 应用:Topic个数少或者每个Topic都均衡的场景
  • 小结
    • 规则:每个消费者消费一定范围的分区,尽量做均分,如果不能均分,优先将分区分配给编号小的消费者
    • 应用:适合于Topic个数少或者每个Topic都能均分场景

知识点05:消费分配策略:RoundRobinAssignor

知识点06:消费分配策略:StickyAssignor

​

  • 负载均衡的场景
    • 假设三:如果假设一中的C3出现故障
      • 假设一 消费者分区C1T1【0】 T2【0】C2T1【1】 T2【1】C3T1【2】 T2【2】
      • 轮询:将所有分区重新分配 消费者分区C1T1【0】 T1【2】 T2【1】C2T1【1】 T2【0】 T2【2】
      • 黏性:直接故障的分区均分给其他的消费者,其他消费者不用改变原来的分区,降低网络IO消耗 消费者分区C1T1【0】 T2【0】 T1【2】C2T1【1】 T2【1】 T2【2】
    • 假设四:如果假设二中的C1出现故障
      • 假设二:轮询 消费者分区C1T1【0】C2T2【0】C3T2【1】 T3【0】 T3【1】 T3【2】
      • 轮询负载均衡 消费者分区C2T1【0】 T2【1】C3T2【0】T3【0】 T3【1】 T3【2】
      • 假设二:黏性 消费者分区C1T1【0】C2T2【0】 T2【1】C3T3【0】 T3【1】 T3【2】
      • 黏性负载均衡 消费者分区C2T2【0】 T2【1】 T1【0】C3T3【0】 T3【1】 T3【2】
  • 小结
    • 规则:尽量保证所有分配均衡,尽量保证每个消费者如果出现故障,剩余消费者依旧保留自己原来消费的分区
    • 特点
      • 分配更加均衡
      • 如果消费者出现故障,提高性能,避免重新分配,将多余的分区均衡的分配给剩余的消费者

知识点07:Kafka存储机制:存储结构

知识点08:Kafka存储机制:写入过程

  • 目标:掌握Kafka数据的写入过程
  • 路径
    • Kafka的数据是如何写入的?
    • 为什么Kafka写入速度很快?
  • 实施
    • step1:生产者生产每一条数据,将数据放入一个batch批次中,如果batch满了或者达到一定的时间,提交写入请求
    • step2:Kafka根据分区规则将数据写入分区,获取对应的元数据,将请求提交给leader副本所在的Broker
      • 元数据存储:Zookeeper中
    • step3:先写入这台Broker的PageCache中
      • Kafka也用了内存机制来实现数据的快速的读写:不同于Hbase的内存设计
        • Hbase:JVM堆内存
          • 所有Java程序都是使用JVM堆内存来实现数据管理
          • 缺点
          • GC:从内存中清理掉不再需要的数据,导致GC停顿,影响性能
          • 如果HRegionServer故障,JVM堆内存中的数据就丢失了,只能通过HLog恢复,性能比较差
        • Kafka:操作系统Page Cache
          • 选用了操作系统自带的缓存区域:PageCache
          • 由操作系统来管理所有内存,即使Kafka Broker故障,数据依旧存在PageCache中
    • step4:操作系统的后台的自动将页缓存中的数据SYNC同步到磁盘文件中:最新的Segment的.log中
      • 顺序写磁盘:不断将每一条数据追加到.log文件中
    • step5:其他的Follower到Leader中同步数据
  • 小结
    • Kafka的数据是如何写入的?
      • step1:生产者构建批次,提交给Kafka集群
    • step2:Kafka根据分区规则,检索元数据,将请求转发给Leader副本对应Broker
      • step3:先写Broker的PageCache
      • step4:后台实现将PageCache中顺序写同步到磁盘中:.log文件
      • step5:Follower同步Leader副本的数据
    • 为什么Kafka写入速度很快?
      • 应用了PageCache的页缓存机制
      • 顺序写磁盘的机制

知识点09:Kafka存储机制:Segment

知识点10:Kafka存储机制:读取过程

  • 目标:掌握Kafka数据的读取过程
  • 路径
    • Kafka数据是如何被读取的?
    • 为什么Kafka读取数据也很快?
  • 实施
    • step1:消费者根据Topic、Partition、Offset提交给Kafka请求读取数据
    • step2:Kafka根据元数据信息,找到对应的这个分区对应的Leader副本
    • step3:请求Leader副本所在的Broker,先读PageCache,通过零拷贝机制【Zero Copy】读取PageCache
    • step4:如果PageCache中没有,读取Segment文件段,先根据offset找到要读取的那个Segment
    • step5:将.log文件对应的.index文件加载到内存中,根据.index中索引的信息找到Offset在.log文件中的最近位置
      • 最近位置:index中记录的稀疏索引【不是每一条数据都有索引】
    • step6:读取.log,根据索引读取对应Offset的数据
  • 小结
    • Kafka数据是如何被读取的?
      • step1:消费者请求读取数据:Topic+Partition+Offset
      • step2:Kafka根据元数据,找到对应分区的leader副本进行检索
      • step3:先检索PageCache
        • 如果有,就通过零拷贝机制从PageCache中读取数据
        • 如果没有,就读取Segment文件段
      • step4:先根据Offset找到对应的Segment的一对文件
      • step5:先读index,找到offset对应的数据在.log文件中的最近位置
      • step6:根据位置,读取.log文件
    • 为什么Kafka读取数据也很快?
      • 优先基于PageCache内存的读取,使用零拷贝机制
      • 按照Offset有序读取每一条
      • 构建Segment文件段
      • 构建index索引

知识点11:Kafka存储机制:index索引设计

知识点12:Kafka数据清理规则

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/07/09 ,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 分布式实时消息队列Kafka(四)
    • 知识点01:课程回顾
    • 知识点02:课程目标
    • 知识点03:消费分配策略:基本规则及分配策略
    • 知识点04:消费分配策略:RangeAssignor
    • 知识点05:消费分配策略:RoundRobinAssignor
    • 知识点06:消费分配策略:StickyAssignor
    • 知识点07:Kafka存储机制:存储结构
    • 知识点08:Kafka存储机制:写入过程
    • 知识点09:Kafka存储机制:Segment
    • 知识点10:Kafka存储机制:读取过程
    • 知识点11:Kafka存储机制:index索引设计
    • 知识点12:Kafka数据清理规则
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档