ClickHouse卡夫卡引擎可以使用压缩的JSON消息吗？

Question

ClickHouse卡夫卡引擎可以使用JSONEachRow格式使用来自JSONEachRow主题的压缩JSON消息吗？

它会自动解压缩消息，然后应用JSON解析吗？它需要什么特殊的配置吗？

编辑我的问题是通过设置压缩配置压缩主题是否会使ClickHouse无法读取这些消息。

Answer 1

是的，只要ClickHouse客户端能够理解卡夫卡主题压缩。例如，早期版本将无法理解ZStandard压缩，但他们会理解例如snappy。无论是JSON还是其他什么，这取决于指定的解析方法。如果这些消息本身被压缩(尽管是多余的)，那么就不会像@Amos所说的那样正确地解析它们。

Answer 2

Kafka引擎按其本身来消耗消息--不多，也不少。这几乎与从本机文件读取相同，但消息边界可能需要特殊处理的例外。ClickHouse不支持读取本机序列化块以外的压缩数据文件。所以答案是否定的，它不能使用压缩的JSON消息。