面试题：消息积压怎么解决？RocketMQ与Kafka有哪些区别？Kafka性能优于RocketMQ的原因？

❃博主首页 ： 「码到三十五」 ，同名公众号 :「码到三十五」，wx号 : 「liwu0213」 ☠博主专栏 ： <mysql高手> <elasticsearch高手> <源码解读> <java核心> <面试攻关> ♝博主的话 ： 搬的每块砖，皆为峰峦之基；公众号搜索「码到三十五」关注这个爱发技术干货的coder，一起筑基

rocketmq和kafka最常见的面试题总结:

一、RocketMQ消息积压解决方案

消息积压是消息中间件中常见的问题，尤其是在高并发、大数据量的场景下。RocketMQ通过一系列机制来应对消息积压问题，下面是几种常见的解决方案：

1. 增加消费者实例：
   • 根据消费者的消费能力，适当增加消费者实例的数量，以提高整体的消费速度。这可以通过在消费者集群中添加更多的节点来实现。
2. 优化消费者处理逻辑：
   • 分析消费者处理消息的逻辑，寻找性能瓶颈并进行优化。例如，简化处理逻辑、减少不必要的IO操作等。
3. 使用批量消费：
   • 在消息处理逻辑允许的情况下，使用批量消费方式，即一次性拉取并处理多条消息，以提高消费者消费速度。
4. 调整生产者发送策略：
   • 使用RocketMQ的流量控制功能，限制生产者的发送速率，避免短时间内大量消息涌入导致消息积压。
   • 根据消费者的处理能力，合理调整生产者的发送速率，确保生产速率与消费速率相匹配。
5. 优化系统配置和性能：
   • 增加消息队列容量，提升消息的存储能力，减少因队列容量不足而导致的消息积压。
   • 调整Broker配置，如队列数量、线程池大小等，以提高Broker的处理能力。
   • 使用延迟消息功能，将不需要立即处理的消息延迟到未来的某个时间点发送，以减少当前的消息积压。
6. 监控和告警：
   • 实时监控RocketMQ的运行状态，及时发现消息积压问题并采取相应的处理措施。
   • 设置告警机制，当消息积压达到预设阈值时，自动触发告警通知相关人员进行处理。
7. 预案制定和应急响应：
   • 针对可能出现的消息积压问题，提前制定预案，包括临时扩容、数据迁移等策略。
   • 当消息积压问题发生时，按照预案进行应急响应，快速解决问题并恢复系统正常运行。

二、Kafka性能优于RocketMQ的原因

Kafka之所以在性能方面优于RocketMQ，主要得益于以下几个方面：

1. sendfile函数的使用：
   • Kafka使用sendfile函数进行零拷贝，减少数据拷贝次数和系统内核切换次数，从而获得更高的性能。
   • RocketMQ虽然也使用零拷贝技术（mmap），但mmap返回的是数据的具体内容，应用层可以获取消息内容并进行逻辑处理，这在一定程度上增加了开销。
2. 简单的日志存储模型：
   • Kafka采用简单的日志存储模型，数据以追加的方式写入磁盘，避免了复杂的消息路由和存储机制带来的额外开销。
   • RocketMQ虽然也具备高效的消息路由和存储机制，但其复杂性可能在高负载情况下影响性能。
3. 优化的内存使用策略：
   • Kafka通过简化的复制机制和优化的内存使用策略，进一步提高了性能。
   • RocketMQ虽然对内存和资源的管理也很有效，但其功能丰富性可能需要更多的资源调整和管理。
4. 批量发送策略：
   • Kafka的Producer端支持将多个小消息合并成一个大消息批量发送，这大大提高了写入性能。
   • RocketMQ的Producer由于使用Java语言开发，缓存过多消息会导致GC（垃圾回收）问题，因此没有采用批量发送策略。

三、RocketMQ与Kafka的主要区别

除了性能方面的差异外，RocketMQ和Kafka在数据可靠性、消费失败重试、分布式事务消息、Broker端消息过滤、消息顺序性以及适用场景等方面也存在显著差异：

1. 数据可靠性：
   • RocketMQ支持异步实时刷盘、同步刷盘、同步Replication和异步Replication，其中同步刷盘在单机可靠性上比Kafka更高。
   • Kafka主要使用异步刷盘方式和异步/同步复制，异步复制可以提供较高的吞吐量，但在极端情况下可能会导致数据丢失。
2. 消费失败重试：
   • Kafka消费失败不支持重试。
   • RocketMQ消费失败支持定时重试，每次重试间隔时间顺延。
3. 分布式事务消息：
   • Kafka不支持分布式事务消息。
   • RocketMQ支持分布式事务消息，通过半消息发送、状态回查等机制确保事务的一致性。
4. Broker端消息过滤：
   • Kafka不支持Broker端的消息过滤。
   • RocketMQ根据Message Tag来过滤消息，相当于子Topic概念。
5. 消息顺序性：
   • Kafka在某些配置下支持消息顺序，但当一台Broker宕机后，可能会产生消息乱序的问题。
   • RocketMQ支持严格的消息顺序，即使在一台Broker宕机的情况下也能通过其他机制保证消息的有序性。
6. 适用场景：
   • Kafka更适合处理海量数据流，对数据正确性要求不是特别严格的场景，如日志收集、实时分析等。
   • RocketMQ更适合对数据可靠性、实时性要求较高，且需要处理大量队列的场景，如金融交易、订单处理等。