编写Delta编码的Parquet文件

Question

我知道可以读取符合规范的Delta编码文件，但不能将它们写出来。我想知道是否有任何常用的开源C++/Python库可以写出符合Parquet规范的增量编码。

Answer 1

有一个带有Python绑定的Rust库，名为德尔塔-rs，它有一个文件作者，它可以采用Apache箭头、Table或RecordBatch并写入Delta格式。注意，它还不支持事务或检查点。

不过，这似乎是一个相当活跃的项目，最近围绕Delta优化做出了一些贡献，所以这很酷。

注：delta-rs的Delta编写特性被标记为实验性，因此它可能不是完全稳定的。