如何使用定制的拼花压缩算法？

Question

是否可以在Spark中使用自定义的压缩算法来读写Parquet文件？

理想情况下，它将配置如下：

sqlContext.setConf("spark.sql.parquet.compression.codec", "myalgo")

Answer 1

不，正如所述的在文件中 (此处指的是2.2.0版本)，唯一可接受的值是

• uncompressed，
• snappy，
• gzip和
• lzo

snappy是默认的。

这是由于Parquet本身的限制，它只使用一组受限的压缩算法，如此枚举中所列(1.5.0版有效)。