Kafka生产者和代理压缩

Question

如果设置了Kafka生产者压缩(例如，设置为gzip)，并且broker配置也被设置为相同的编解码器，那么broker是否会重新压缩来自生产者的任何消息，或者识别它是相同的编解码器并跳过和代理端重压缩？

我知道可以将代理配置为通过“生产者”设置继承代理编解码器。然而，对于我们的场景，我们可能有生产者(在我们的控制之外)，他们可能不会设置任何压缩，所以我们希望将代理配置为启用默认压缩，但对于那些在我们控制之下的生产者，我们更喜欢使用生产者压缩来节省网络带宽，同时也减少代理上的负载。

Answer 1

将主题压缩设置为producer相当于将其设置为与您在producers中使用的值相同的值。因此，要实现所需的功能，您只需将主题压缩设置为您在生成器中使用的相同算法即可。使用相同压缩算法的外部生成器将与内部生成器的工作方式相同，其余的将触发潜在的解压缩/重新压缩。

本文很好地总结了这一点：https://newbedev.com/if-i-set-compression-type-at-topic-level-and-producer-level-which-takes-precedence