- 综合排序
- 最热优先
- 最新优先
- 来自专栏Spark学习技巧
kafka面试总结
转自：https://www.cnblogs.com/threecha/p/13737421.html 从以下方面对kafka面试进行总结：基本原理架构/项目实践/生产者/消费者/协调者/存储层/控制器 follower如何与leader同步数据 kafka节点之间消息如何备份的 kafka消息是否会丢失为什么 kafka的lead选举机制是什么 kafka 的消息保障方式有那些 项目实践 ACK 0 /value/key/时间戳] 2.client对ProducerRecord进行序列化 3.根据分区策略确定分区[无key轮询有key murmur2(key) mod PartitionNum] 4. 说下2种消费模式 消费模式可分为订阅模式和分配模式 我们项目中有4个分区，使用的订阅模式 设置了4个消费者。 实战 kafka技术内幕 kafka在公司项目实践
91720发布于 2021-03-05 - 来自专栏后台技术底层理解
面试：集合：redis:kafka
kafka、rabbitMQ等来实现推送更新Redis! 一张自增表里面总共有 7 条数据，删除了最后 2 条数据，重启 MySQL 数据库，又插入了一条数据，此时 id 是几? 4.ListIterator可以定位当前索引的位置，nextIndex()和previousIndex()可以实现。Iterator没有此功能。 优化的key大小 尽可能使用Hash，hash占用空间少； 选择内存占用和效率更好的数据结构zipList kafka 有几种数据保存策略 Kafka Broker默认的消息保留策略是：要么保留一定时间
82730发布于 2020-08-04 - 来自专栏服务化进程
面试必问之kafka
问题2：Kafka中有哪几个组件? 主题：Kafka主题是一堆或一组消息。 生产者：在Kafka，生产者发布通信以及向Kafka主题发布消息。 消费者：Kafka消费者订阅了一个主题，并且还从主题中读取和处理消息。 经纪人：在管理主题中的消息存储时，我们使用Kafka Brokers。 producer无需等待leader的确认(吞吐最高、数据可靠性最差) 1代表需要leader确认写入它的本地log并立即确认 -1/all 代表所有的ISR都完成后确认(吞吐最低、数据可靠性最高) 问题4： 条件1：有新的consumer加入 条件2：旧的consumer挂了 条件3：coordinator挂了，集群选举出新的coordinator 条件4：topic的partition新加 条件5：consumer Kafka 可以将数据记录分批发送，从生产者到文件系统（Kafka 主题日志）到消费者，可以端到端的查看这些批次的数据。
81821编辑于 2022-01-06 - 来自专栏cwl_Java
经典面试题-Kafka
第 7 章 Kafka 面试题 7.1 面试问题 Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？ Kafka 中的 HW、LEO 等分别代表什么？ Kafka 中是怎么体现消息顺序性的？ Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？ 当你使用 kafka-topics.sh 创建（删除）了一个 topic 之后，Kafka 背后会执行什么逻辑？ Kafka 有内部的 topic 吗？如果有是什么？有什么所用？ Kafka 分区分配的概念？ 简述 Kafka 的日志目录结构？ 如果我指定了一个 offset，Kafka Controller 怎么查找到对应的消息？ 聊一聊 Kafka Controller 的作用？ Kafka 中有那些地方需要选举？
70720发布于 2020-02-24 - 来自专栏用户9257747的专栏
精选Kafka面试题
什么是Kafka？ Kafka中有哪几个组件? 主题(Topic)：Kafka主题是一堆或一组消息。 生产者(Producer)：在Kafka，生产者发布通信以及向Kafka主题发布消息。 Kafka系统工具有哪些类型？ Kafka迁移工具：它有助于将代理从一个版本迁移到另一个版本。 Mirror Maker：Mirror Maker工具有助于将一个Kafka集群的镜像提供给另一个。 Kafka可以接收的最大消息大小约为1000000字节。 Kafka的优点有那些？ 高吞吐量：我们在Kafka中不需要任何大型硬件，因为它能够处理高速和大容量数据。 低延迟：Kafka可以轻松处理这些消息，具有毫秒级的极低延迟，这是大多数新用例所要求的。 容错：Kafka能够抵抗集群中的节点/机器故障。 耐久性：由于Kafka支持消息复制，因此消息永远不会丢失。
3.8K30编辑于 2022-04-07 - 来自专栏后台技术底层理解
Kafka 基础面试题
Kafka的设计模式主要基于事务日志设计。 2. Kafka中有哪几个组件? 主题：Kafka主题是一堆或一组消息。 生产者：在Kafka，生产者发布通信以及向Kafka主题发布消息。 4. 什么是消费者组？ 答：消费者组的概念是Apache Kafka独有的。基本上，每个Kafka消费群体都由一个或多个共同消费一组订阅主题的消费者组成。 5. 为什么Kafka技术很重要？ 答：Kafka有一些优点，因此使用起来很重要： 高吞吐量：我们在Kafka中不需要任何大型硬件，因为它能够处理高速和大容量数据。 另外，我们可以用Kafka构建一个实时流处理平台，它可以对数据快速做出反应。 15. 在Kafka集群中保留期的目的是什么？ 答：保留期限保留了Kafka群集中的所有已发布记录。 Kafka : 单机吞吐量10万级别，这是kafka最大的优点，就是吞吐量高。
93930发布于 2020-08-05 - 来自专栏暴走大数据
从面试角度详解Kafka
其余压缩方式还有，"gzip"、"snappy"和"lz4"。对消息的压缩可以极大地减少网络传输量、降低网络 IO，从而提高整体性能。 关于 ISR，还有一个常见的面试题目是如何判断副本是否应该属于 ISR。 所以理解这些配置背后的实现原理，可以让我们在实践中懂得如何使用和优化 Kafka。既可面试造火箭，也可以实战造火箭。 ” 零拷贝 “哈哈，这个我面试被问到过。可惜答得一般般，唉。 ” 什么是零拷贝？ Kafka 支持多种压缩算法：lz4、snappy、gzip。
1.5K60发布于 2021-07-12 - 来自专栏对线JAVA面试
面试系列-kafka事务控制
kafka事务机制 kafka的事务机制，是kafka实现端到端有且仅有一次语义（end-to-end EOS)的基础；事务涉及到 transactional producer 和transactional 的事务机制，在底层依赖于幂等生产者，幂等生产者是kafka事务的必要不充分条件； 事实上，开启kafka事务时，kafka会自动开启幂等生产者； kafka事务支持的设计原理 Transaction Coordinator log是kakfa的一个内部topic, 所以kafka可以通过内部的复制协议和选举机制（replication protocol and leader election processes)，来确保 Transaction Coordinator还负责将事务写入kafka内部的一个topic，这样即使整个服务重启，由于事务状态得到保存，正在进行的事务状态可以得到恢复，从而继续进行； kafka事务机制下读写流程 全局一致的transactional.id维护 transactional.id在kafka的事务机制中扮演了关键的角色，kafka正是基于该参数来过滤掉僵尸生产者的 （fencing out zombies
1.1K10编辑于 2022-12-29 - 来自专栏大数据成长之路
快速入门Kafka系列(4)——Kafka的主要组件说明
作为快速入门Kafka系列的第四篇博客，本篇为大家带来的是Kafka的主要组件说明~ 码字不易,先赞后看! ? ---- 上一篇博客主要介绍的是Kafka的架构组成，对于内部组件讲述的还是不够细致，所有就有了下文~ Kafka主要组件说明 1、kafka当中的producer说明 2、kafka当中的topic说明 kafka将消息以topic为单位进行归类 topic特指kafka处理的消息源（feeds of messages）的不同分类。 Consumer group A 有两个消费者来读取4个partition中数据；Consumer group B有四个消费者来读取4个 partition中的数据。 如：某一个主题有4个分区，那么消费组中的消费者应该小于4，而且最好与分区数成整数倍1 2 4同一个分区下的数据，在同一时刻，不能同一个消费组的不同消费者消费。
85530发布于 2021-01-27 - 来自专栏全栈程序员必看
angular面试问题_kafka面试题
Angular v8+面试系列 Angular 面试题汇总1-基本知识 Angular 面试题汇总2-Component/Service Angular 面试题汇总3-单元测试 目录 Angular ---- Angular v8+面试系列 Angular 面试题汇总1-基本知识 Angular 面试题汇总2-Component/Service Angular 面试题汇总3-单元测试 版权声明
3.5K20编辑于 2022-09-29 - 来自专栏兜兜毛毛
Kafka 消费者原理（4）
这种特性决定了kafka可以消费历史消息，而且按照消息的顺序消费指定消息，而不是只能消费队头的消息。 LOG-END-OFFSET LAG CONSUMER-ID 0 5 5 0 consumer-1 1 5 5 0 consumer-1 2 5 5 0 consumer-1 3 5 5 0 consumer-2 4 kafka早期的版本把消费者组和partition的offset直接维护在ZK中，但是读写的性能消耗太大了。 /kafka-topics.sh --topic __connsumer_offsets --describe --zookeeper localhost:2181 看起来这些分区副本在3个Broker /kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server localhost --formatter "kafka.coordinator.group.GroupMetadataManager
1.8K40发布于 2021-04-02 - 来自专栏悠扬前奏的博客
Kafka-4.配置-Producer Configs
high bootstrap.servers A list of host/port pairs to use for establishing the initial connection to the Kafka Valid values are none, gzip, snappy, lz4, or zstd. This can be defined either in Kafka's JAAS config or in Kafka's config. string null medium sasl.login.callback.handler.class Implementing the org.apache.kafka.clients.producer.ProducerInterceptorinterface allows you to intercept Implementing the org.apache.kafka.common.metrics.MetricsReporter interface allows plugging in classes
1.1K40发布于 2019-06-11 - 来自专栏大数据工程师
Kafka面试题——20道Kafka知识点
本篇给大家总结了20道Kafka知识点或者说面试题，持续更新中... 1.kafka的3个关键功能？ 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 2.kafka通常用于两大类应用？ 建立实时流数据管道，以可靠地在系统或应用程序之间获取数据 构建实时流应用程序，以转换或响应数据流 3.kafka特性? 消息持久化 高吞吐量 扩展性 多客户端支持 Kafka Streams 安全机制 数据备份 轻量级 消息压缩 4.kafka的5个核心Api? Kafka集群中，一个kafka实例被称为一个代理(Broker)节点。 6.什么是Producer（生产者）? 消息的生产者被称为Producer。 实际写入到kafka集群并且可以被消费者读取的数据。每条记录包含一个键、值和时间戳。 12.kafka适合哪些场景？ 日志收集、消息系统、活动追踪、运营指标、流式处理、时间源等。
85800发布于 2020-06-29 - 来自专栏函数式编程语言及工具
alpakka-kafka(4)-kafka应用案例-系统分析
讲确切点应该说如何借助kafka的特性来实现功能开发。 底层方面：多节点服务器集群、kafka分布部署。 所谓consumer就是alpakka-kafka的一个stream。 在每个节点启动应用时就开始运行多个应用里的kafka-conusmer-stream就行了，至于consumer分布式运算是体现在底层kafka的分布式部署上的。 具体工作场景如下：用户通过任何节点上的http端点用http-request调用api传递指令（读、写库存）-> api把指令写入kafka -> consumer从kafka读出指令传给一个shard-entity 麻烦的是需要返回结果的双向指令，处理完业务后该如何把结果返回正确的http-request，毕竟指令是通过kafka发过去的。如果通过kafka返回结果，前端还需要构建consumer来接收。
65930发布于 2021-04-01 - 来自专栏用户3288143的专栏
【kafka】使用Kafka Connect API创建Apache Kafka连接器的4个步骤
Kafka Connect简介 Kafka是一个使用越来越广的消息系统，尤其是在大数据开发中（实时数据处理和分析）。 Kafka Connect是到0.9版本才提供的并极大的简化了其他系统与Kafka的集成。 使用Kafka自带的File连接器 图例 ? kafka根目录添加输入源，观察输出数据 [root@Server4 kafka_2.12-0.11.0.0]# echo 'firest line' >> test.txt [root@Server4 {"schema":{"type":"string","optional":false},"payload":"second line"} 查看test.sink.txt [root@Server4
1.7K20发布于 2020-12-07 - 来自专栏CSDN
Kafka常见面试题
Kafka Kafka集群leader选举 Kafka创建副本的2种模式——同步复制和异步复制 同步复制流程 异步复制流程 Kafka判断一个broker节点是否存活 Kafka生产者发送消息确认机制( ack机制) KafkaISR机制 leader如何动态维护ISR Kafka集群leader选举 在kafka集群中，第一个启动的broker会在zk中创建一个临时节点/controller让自己成为控制器 Kafka创建副本的2种模式——同步复制和异步复制 Kafka动态维护了一个同步状态的副本的集合（a set of In-Sync Replicas），简称ISR，在这个集合中的节点都是和leader 既然kafka支持副本模式，那么其中一个Broker里的挂掉，一个新的leader就能通过ISR机制推选出来，继续处理读写请求。 生产者没有收到leader的ack回应会重试投递，会造成数据重复 kafKa消费消息主要是依靠偏移量进行消费数据的，偏移量是一个不断自增的整数值，当发生重平衡的时候，便于用来恢复数据。
54510编辑于 2021-12-30 - 来自专栏Java技术栈
Kafka 怎么顺序消费？面试必备！
1、问题引入 kafka的顺序消费一直是一个难以解决的问题，kafka的消费策略是对于同Topic同Partition的消息可保证顺序消费，其余无法保证。 另外，Kafka 系列面试题和答案全部整理好了，微信搜索Java技术栈，在后台发送：面试，可以在线阅读。 面试题整理好了，大家可以在Java面试库小程序在线刷题。 监听代码示例： KafkaListenerDemo.java @Component @Slf4j public class KafkaListenerDemo { // 消费到的数据缓存 23 种设计模式实战（很全） Spring Boot 保护敏感配置的 4 种方法！ 再见单身狗！Java 创建对象的 6 种方式 阿里为什么推荐使用 LongAdder？
3.3K50编辑于 2022-03-18 - 来自专栏挨踢小子部落阁
Kafka常见面试题
1 什么是kafka Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据 2 为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中 3.Kafka中的ISR、AR又代表什么？ 4.kafka中的broker 是干什么的 broker 是消息的代理，Producers往Brokers里面的指定Topic中写消息，Consumers从Brokers里面拉取指定Topic的消息，然后进行业务处理 6.kafka follower如何与leader同步数据 Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制。
56620编辑于 2023-03-15 - 来自专栏其他分享
kafka消息面试题
频繁地发送心跳请求会额外消耗带宽资源，但好处是能够更加快速地知晓当前是否开启重平衡 4. 减少下游系统一次性消费的消息总数：这取决于消费者端参数 max.poll.records 的值。 （提示：消费者协调器和消费组协调器）Kafka中的事务是怎么实现的（这题我去面试6加被问4次，照着答案念也要念十几分钟，面试官简直凑不要脸。 如果你想要 kafka 中的数据按照时间的先后顺序进行存储,那么可以设置分区数为 1。如下图所示,一个主题由 4 个分区组成,数据都以追加的方式写入这四个文件。 整个生命周期里会建立4个连接，进入稳定的消费过程后，同时保持3个连接，以下是详细。 第一类连接：确定协调者和获取集群元数据。 一个，初期的时候建立，当第三类连接建立起来之后，这个连接会被关闭。 只有2个 Broker，5个分区的领导者副本，由zookeeper分配Leader，所以默认是均匀的，故有4个TCP连接。你是如何解决有序消息这个问题的？用的是哪种方案？
4.9K11编辑于 2024-05-08 - 来自专栏对线JAVA面试
面试系列-kafka高可用机制
消息备份 Kafka允许同⼀个Partition存在多个消息副本(Replica)，每个Partition的副本通常由1个Leader及0个以上的Follower组成，⽣产者将 消息直接发往对应Partition 的Leader，Follower会周期地向Leader发送同步请求，Kafka的Leader机制在保障数据⼀致性地同时降低了了 消息备份的复杂度； 同⼀Partition的Replica不应存储在同一个 为了做好负载均衡并提⾼容错能力，Kafka会尽量将所有的Partition以及各Partition的副本均匀地分配到整个集群上； ISR机制 kafka中每一个主题又进一步划分成若干个分区。 副本的概念实际上是在分区层级下定义的，每个分区配置有多若干个副本；所谓副本，本质上就是一个只能追加写消息的提交日志，根据kafka副本机制的定义，同一个分区下的所有副本保存着相同的消息序列，这些副本分散的保存在不同的 Broker上，从而能够对抗部分Broker宕机带来的数据不可用； 在kafka分区中的副本机制中，又分了Leader节点和Follower节点，消息会写到Leader节点中，由Leader节点将数据同步给
93021编辑于 2022-12-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号