Avro in-memory，以拼花为存储

Question

我是第一次接触拼花，并试图理解使用拼花带来的各种复杂之处。经常弹出的一点是，镶嵌作为存储格式应该与Avro一起使用作为内存中的表示。不幸的是，我不明白Avro怎么能用在拼图上。有人能给我解释一下这个组合吗？

谢谢！！

Answer 1

Avro是表示对象结构的二进制格式。它的优点是可以压缩。

我对Parquet的内部细节了解不多，无法说明为什么是Avro，但它可能会进行优化，以存储特定的格式。然而，使用Avro作为存储的对象格式通常会节省大量的空间。