- 综合排序
- 最热优先
- 最新优先
- 来自专栏草捏子
Kafka的10道基础面试题
这次给大家分享的是Kafka的10道面试题，就难度我觉得是比较基础的，但考的知识点还比较全面，可以用来考察自己掌握Kafka基础的程度。 1. Kafka是什么？ 10. 以上就是本次分享的10道Kafka面试题，有问题的地方，欢迎留言交流。 我是草捏子，一只热爱技术和生活的草鱼，我们下期见！ 整理了一套Kafka面试题: https://juejin.cn/post/6844903889003610119 [3] 32 道常见的 Kafka 面试题你都会吗？ [5] 大数据Kafka面试题: https://zhuanlan.zhihu.com/p/107350990 [6] 面试官问我如何保证Kafka不丢失消息?
1K20发布于 2021-03-01 - 来自专栏Spark学习技巧
kafka面试总结
转自：https://www.cnblogs.com/threecha/p/13737421.html 从以下方面对kafka面试进行总结：基本原理架构/项目实践/生产者/消费者/协调者/存储层/控制器 基本原理架构 简单讲下什么是kafka[一句话概括/架构图] 消息队列选型 你们为什么不选用其他消息队列 ZK 在消息队列中的作用是什么 注册中心[作为共享存储保存了kafka集群和客户端的相关信息 [队列1对1/订阅1对多] kafka为什么这么快 追加方式写入 producer层选择分区并行写入数据[避免全量消息提交到协调阶段在计算分区] 使用消息batch[消息批 减少通讯次数] kafka follower如何与leader同步数据 kafka节点之间消息如何备份的 kafka消息是否会丢失为什么 kafka的lead选举机制是什么 kafka 的消息保障方式有那些 项目实践 ACK 0 实战 kafka技术内幕 kafka在公司项目实践
98820发布于 2021-03-05 - 来自专栏Elasticsearch专栏
【夏之以寒-Kafka面试 01】每日一练：10道常见的kafka面试题以及详细答案
、核心组件和使用场景，一步步构建起消息队列和流处理的知识体系，无论是对分布式系统感兴趣，还是准备在大数据领域迈出第一步，本专栏都提供所需的一切资源、指导，以及相关面试题，立刻免费订阅，开启Kafka学习之旅 每日一练：10道常见的kafka面试题以及详细答案 01 Kafka是什么？ Kafka是一个分布式流处理平台，它由Apache软件基金会维护，主要用于构建实时数据管道和流处理应用程序。 此外，Kafka还提供了一些企业级特性，如Kafka Connect用于与外部系统的集成、Kafka MirrorMaker用于跨集群的数据复制等。 Kafka Manager- Kafka管理器 Kafka Manager是一个Web界面管理工具，用于监控和管理Kafka集群。 消费者组的这种可扩展性使得Kafka能够适应不同的业务需求和消息负载。 10 Kafka如何实现高吞吐量和高性能？
66100编辑于 2024-05-26 - 来自专栏后台技术底层理解
面试：集合：redis:kafka
kafka、rabbitMQ等来实现推送更新Redis! 一张自增表里面总共有 7 条数据，删除了最后 2 条数据，重启 MySQL 数据库，又插入了一条数据，此时 id 是几? long_query_time = 3600; mysql>set global log_querise_not_using_indexes = ON; // 写一条慢查询 SELECT SLEEP(10 mysqldumpslow -s c -t 10 host-slow.log 按照时间返回前10条里面含有左连接的sql语句 mysqldumpslow -s t -t 10 -g "left join 优化的key大小 尽可能使用Hash，hash占用空间少； 选择内存占用和效率更好的数据结构zipList kafka 有几种数据保存策略 Kafka Broker默认的消息保留策略是：要么保留一定时间
89130发布于 2020-08-04 - 来自专栏悠扬前奏的博客
Kafka-10.设计-复制
Kafka默认情况下用于复制 - 事实上，我们将不复制的主题实现为复制因子为1的复制主题。 复制单元是主题分区。 在非故障情况下，Kafka中的每个分区都有一个leader和零个或多个followers。包括leader在内的副本总数构成复制因子。所有读写都将转到分区的leader。 follower像正常的Kafka消费者一样消费来自leader的消息并将其应用于他们自己的日志中。 Kafka没有处理产生任意或恶意的响应（可能是由于错误或foul play）节点中所谓的“ Byzantine”故障。 Kafka提供的保证是，只要始终存在至少一个同步副本，就不会丢失已提交的消息。 在短暂的故障转移期后，Kafka将在出现节点故障时仍然可用，但在网络分区存在时可能无法保持可用状态。
72220发布于 2019-06-16 - 来自专栏后台技术底层理解
Kafka 基础面试题
Kafka的设计模式主要基于事务日志设计。 2. Kafka中有哪几个组件? 主题：Kafka主题是一堆或一组消息。 生产者：在Kafka，生产者发布通信以及向Kafka主题发布消息。 为什么Kafka技术很重要？ 答：Kafka有一些优点，因此使用起来很重要： 高吞吐量：我们在Kafka中不需要任何大型硬件，因为它能够处理高速和大容量数据。 10. 为什么Kafka的复制至关重要？ 答：由于复制，我们可以确保发布的消息不会丢失，并且可以在发生任何机器错误、程序错误或频繁的软件升级时使用。 11. RocketMQ ：单机吞吐量10万级，RocketMQ也是可以支撑高吞吐的一种MQ，topic可以达到几百，几千个的级别，吞吐量会有较小幅度的下降，这是RocketMQ的一大优势，在同等机器下，可以支撑大量的 Kafka : 单机吞吐量10万级别，这是kafka最大的优点，就是吞吐量高。
1.1K30发布于 2020-08-05 - 来自专栏暴走大数据
从面试角度详解Kafka
Kafka 基本概念和架构 问题 简单讲下 Kafka 的架构？ Kafka 是推模式还是拉模式，推拉的区别是什么？ Kafka 如何广播消息？ Kafka 的消息是否是有序的？ 默认 10s 该参数是 Consumer Group 主动检测 （组内成员 comsummer) 崩溃的时间间隔，类似于心跳过期时间。 关于 ISR，还有一个常见的面试题目是如何判断副本是否应该属于 ISR。 所以理解这些配置背后的实现原理，可以让我们在实践中懂得如何使用和优化 Kafka。既可面试造火箭，也可以实战造火箭。 ” 零拷贝 “哈哈，这个我面试被问到过。可惜答得一般般，唉。 ” 什么是零拷贝？
1.6K60发布于 2021-07-12 - 来自专栏对线JAVA面试
面试系列-kafka事务控制
kafka事务机制 kafka的事务机制，是kafka实现端到端有且仅有一次语义（end-to-end EOS)的基础；事务涉及到 transactional producer 和transactional 的事务机制，在底层依赖于幂等生产者，幂等生产者是kafka事务的必要不充分条件； 事实上，开启kafka事务时，kafka会自动开启幂等生产者； kafka事务支持的设计原理 Transaction Coordinator log是kakfa的一个内部topic, 所以kafka可以通过内部的复制协议和选举机制（replication protocol and leader election processes)，来确保 Transaction Coordinator还负责将事务写入kafka内部的一个topic，这样即使整个服务重启，由于事务状态得到保存，正在进行的事务状态可以得到恢复，从而继续进行； kafka事务机制下读写流程 全局一致的transactional.id维护 transactional.id在kafka的事务机制中扮演了关键的角色，kafka正是基于该参数来过滤掉僵尸生产者的 （fencing out zombies
1.2K10编辑于 2022-12-29 - 来自专栏不温卜火
Kafka快速入门系列(10) | Kafka的Consumer API操作
本篇博主带来的是Kafka的Consumer API操作。 Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。 ; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer 此为异步提交代码 package com.buwenbuhuo.kafka.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig 此为同步提交代码 package com.buwenbuhuo.kafka.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig ; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.common.TopicPartition
83610发布于 2020-10-28 - 来自专栏服务化进程
面试必问之kafka
问题2：Kafka中有哪几个组件? 主题：Kafka主题是一堆或一组消息。 生产者：在Kafka，生产者发布通信以及向Kafka主题发布消息。 消费者：Kafka消费者订阅了一个主题，并且还从主题中读取和处理消息。 经纪人：在管理主题中的消息存储时，我们使用Kafka Brokers。 默认值是 10 秒。 除了这个参数，Consumer 还提供了一个控制发送心跳请求频率的参数，就是 heartbeat.interval.ms。 问题7.4：kafka一次reblance大概要多久 1个Topic，10个partition，3个consumer 测试结果 经过几轮测试发现每次rebalance所消耗的时间大概在 80ms~100ms Kafka 可以将数据记录分批发送，从生产者到文件系统（Kafka 主题日志）到消费者，可以端到端的查看这些批次的数据。
88921编辑于 2022-01-06 - 来自专栏cwl_Java
经典面试题-Kafka
第 7 章 Kafka 面试题 7.1 面试问题 Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？ Kafka 中的 HW、LEO 等分别代表什么？ Kafka 中是怎么体现消息顺序性的？ Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？ 当你使用 kafka-topics.sh 创建（删除）了一个 topic 之后，Kafka 背后会执行什么逻辑？ Kafka 有内部的 topic 吗？如果有是什么？有什么所用？ Kafka 分区分配的概念？ 简述 Kafka 的日志目录结构？ 如果我指定了一个 offset，Kafka Controller 怎么查找到对应的消息？ 聊一聊 Kafka Controller 的作用？ Kafka 中有那些地方需要选举？
74920发布于 2020-02-24 - 来自专栏用户9257747的专栏
精选Kafka面试题
什么是Kafka？ Kafka中有哪几个组件? 主题(Topic)：Kafka主题是一堆或一组消息。 生产者(Producer)：在Kafka，生产者发布通信以及向Kafka主题发布消息。 Kafka系统工具有哪些类型？ Kafka迁移工具：它有助于将代理从一个版本迁移到另一个版本。 Mirror Maker：Mirror Maker工具有助于将一个Kafka集群的镜像提供给另一个。 Kafka可以接收的最大消息大小约为1000000字节。 Kafka的优点有那些？ 高吞吐量：我们在Kafka中不需要任何大型硬件，因为它能够处理高速和大容量数据。 低延迟：Kafka可以轻松处理这些消息，具有毫秒级的极低延迟，这是大多数新用例所要求的。 容错：Kafka能够抵抗集群中的节点/机器故障。 耐久性：由于Kafka支持消息复制，因此消息永远不会丢失。
4K30编辑于 2022-04-07 - 来自专栏全栈程序员必看
angular面试问题_kafka面试题
Angular v8+面试系列 Angular 面试题汇总1-基本知识 Angular 面试题汇总2-Component/Service Angular 面试题汇总3-单元测试 目录 Angular ---- Angular v8+面试系列 Angular 面试题汇总1-基本知识 Angular 面试题汇总2-Component/Service Angular 面试题汇总3-单元测试 版权声明
4.1K20编辑于 2022-09-29 - 来自专栏CSDN
Kafka常见面试题
Kafka Kafka集群leader选举 Kafka创建副本的2种模式——同步复制和异步复制 同步复制流程 异步复制流程 Kafka判断一个broker节点是否存活 Kafka生产者发送消息确认机制( ack机制) KafkaISR机制 leader如何动态维护ISR Kafka集群leader选举 在kafka集群中，第一个启动的broker会在zk中创建一个临时节点/controller让自己成为控制器 Kafka创建副本的2种模式——同步复制和异步复制 Kafka动态维护了一个同步状态的副本的集合（a set of In-Sync Replicas），简称ISR，在这个集合中的节点都是和leader 既然kafka支持副本模式，那么其中一个Broker里的挂掉，一个新的leader就能通过ISR机制推选出来，继续处理读写请求。 生产者没有收到leader的ack回应会重试投递，会造成数据重复 kafKa消费消息主要是依靠偏移量进行消费数据的，偏移量是一个不断自增的整数值，当发生重平衡的时候，便于用来恢复数据。
61510编辑于 2021-12-30 - 来自专栏大数据工程师
Kafka面试题——20道Kafka知识点
本篇给大家总结了20道Kafka知识点或者说面试题，持续更新中... 1.kafka的3个关键功能？ 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 2.kafka通常用于两大类应用？ 建立实时流数据管道，以可靠地在系统或应用程序之间获取数据 构建实时流应用程序，以转换或响应数据流 3.kafka特性? 消息持久化 高吞吐量 扩展性 多客户端支持 Kafka Streams 安全机制 数据备份 轻量级 消息压缩 4.kafka的5个核心Api? Kafka集群中，一个kafka实例被称为一个代理(Broker)节点。 6.什么是Producer（生产者）? 消息的生产者被称为Producer。 10.什么是副本(Replication)? 每个主题在创建时会要求制定它的副本数（默认1）。 11.什么是记录(Record)? 实际写入到kafka集群并且可以被消费者读取的数据。
92500发布于 2020-06-29 - 来自专栏对线JAVA面试
面试系列-kafka exactly once语义
在 0.11 版 本以前的 Kafka，对此是无能为力的，只能保证数据不丢失，再在下游消费者对数据做全局 去重。对于多个下游应用的情况，每个都需要单独做全局去重，这就对性能造成了很大影响。 0.11 版本的 Kafka，引入了一项重大特性：幂等性。所谓的幂等性就是指 Producer 不论 向 Server 发送多少次重复数据，Server 端都只会持久化一条。 幂等性结合 At Least Once 语 义，就构成了 Kafka 的 Exactly Once 语义。 ack就会为-1； Kafka的幂等性实现其实就是将原来下游需要做的去重放在了数据上游。 开启幂等性的Producer在初始化的时候会被kafka集群分配一个PID，发往同一Partition的消息会附带Sequence Number。
40710编辑于 2022-12-29 - 来自专栏全栈程序员必看
kafka使用场景举例_rabbitmq和kafka的区别面试
并行方式处理的请求量是10次（1000/100） 小结：如以上案例描述，传统的方式系统的性能（并发量，吞吐量，响应时间）会有瓶颈。如何解决这个问题呢？ 引入消息队列，将不是必须的业务逻辑，异步处理。 架构简化如下 日志采集客户端，负责日志数据采集，定时写受写入Kafka队列 Kafka消息队列，负责日志数据的接收，存储和转发 日志处理应用：订阅并消费kafka队列中的日志数据 2.5消息通讯 （文件追加的方式写入数据，过期的数据定期删除） 高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息 支持通过Kafka服务器和消费机集群来分区消息 支持Hadoop并行数据加载 Kafka相关概念 Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker[5] Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。 Producer 负责发布消息到Kafka broker Consumer 消息消费者，向Kafka broker读取消息的客户端。
1.2K20编辑于 2022-11-04 - 来自专栏Java技术栈
Kafka 怎么顺序消费？面试必备！
点击关注公众号，Java干货及时送达 前言 本文针对解决Kafka不同Topic之间存在一定的数据关联时的顺序消费问题。 1、问题引入 kafka的顺序消费一直是一个难以解决的问题，kafka的消费策略是对于同Topic同Partition的消息可保证顺序消费，其余无法保证。 另外，Kafka 系列面试题和答案全部整理好了，微信搜索Java技术栈，在后台发送：面试，可以在线阅读。 面试题整理好了，大家可以在Java面试库小程序在线刷题。 2021 年发生的 10 件技术大事！！ 23 种设计模式实战（很全） Spring Boot 保护敏感配置的 4 种方法！ 再见单身狗！
3.3K50编辑于 2022-03-18 - 来自专栏对线JAVA面试
面试系列-kafka高可用机制
消息备份 Kafka允许同⼀个Partition存在多个消息副本(Replica)，每个Partition的副本通常由1个Leader及0个以上的Follower组成，⽣产者将 消息直接发往对应Partition 的Leader，Follower会周期地向Leader发送同步请求，Kafka的Leader机制在保障数据⼀致性地同时降低了了 消息备份的复杂度； 同⼀Partition的Replica不应存储在同一个 为了做好负载均衡并提⾼容错能力，Kafka会尽量将所有的Partition以及各Partition的副本均匀地分配到整个集群上； ISR机制 kafka中每一个主题又进一步划分成若干个分区。 副本的概念实际上是在分区层级下定义的，每个分区配置有多若干个副本；所谓副本，本质上就是一个只能追加写消息的提交日志，根据kafka副本机制的定义，同一个分区下的所有副本保存着相同的消息序列，这些副本分散的保存在不同的 Broker上，从而能够对抗部分Broker宕机带来的数据不可用； 在kafka分区中的副本机制中，又分了Leader节点和Follower节点，消息会写到Leader节点中，由Leader节点将数据同步给
1K21编辑于 2022-12-29 - 来自专栏其他分享
kafka消息面试题
，同一Topic的多个分区内的消息，Kafka并不保证其顺序性kafka消息有序。 该参数的默认值是 10 秒，即如果协调者在 10 秒之内没有收到组内某个消费者实例的心跳，它就会认为这个消费者实例已经挂了。 10. 调优10.1. swap 的调优swap 的调优。网上很多文章都提到设置其为 0，将 swap 完全禁掉以防止 Kafka 进程使用 swap 空间。 聊一聊你对Kafka的Log Retention的理解聊一聊你对Kafka的Log Compaction的理解聊一聊你对Kafka底层存储的理解（页缓存、内核层、块层、设备层）聊一聊Kafka的延时操作的原理聊一聊 （提示：消费者协调器和消费组协调器）Kafka中的事务是怎么实现的（这题我去面试6加被问4次，照着答案念也要念十几分钟，面试官简直凑不要脸。
5.2K11编辑于 2024-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号