如何在Kafka中测量Avro消息大小？

Question

我有一些制作人生产的卡夫卡主题的Avro记录。如何知道每条消息有多大(以字节为单位)？

Answer 1

这将有助于澄清您所说的消息大小是什么意思。当前消息大小被认为是记录批次的大小，包括批次元数据加上单个记录：https://kafka.apache.org/documentation/#recordbatch

生产者在向Kafka发送数据之前，会对依赖于batch.size和linger.ms的数据进行批量处理。数据批处理后，记录将根据compression.type配置进行压缩。这意味着，在您的批处理准备好发送之前，您不会知道确切的记录批处理大小。

如果您只对记录值大小的字节感兴趣，可以在message为serialized后检查字节数组大小。

要了解主题接收的字节数，可以在服务器端测量此指标:在生产者端测量kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec或检查outgoing-byte-rate指标。