用于平面数据结构的Apache Parquet

Question

拼花是用复杂的嵌套数据结构从头开始构建的，并使用Dremel文件中描述的记录分解和组装算法。

我知道，对于通用存储格式来说，必须支持嵌套结构。但是，对于平面数据，记录分解和组装的开销(以及定义和重复级别的额外存储)似乎是多余的。

头顶是可以忽略不计的？是否有其他可供选择的列存储格式？

Answer 1

我认为，使用结构化文件类型比使用明文更有好处，不管使用这种格式的算法是否支持这种格式。

XML文件可以有一个模式，但是过于冗长，并且不包含像Parquet这样的列式统计信息。

ORC、RCFile和RecordIO是存储的替代柱状格式。

Apache是内存中的一种列式格式。