文章/答案/技术大牛

发布

问指定Parquet属性
EN

Stack Overflow用户

提问于 2016-07-07 02:52:30

回答 1查看 1.1K关注 0票数 3

如何在PySpark中指定块大小和页大小？我到处搜索，但找不到函数调用或导入库的任何文档。

回答已采纳

发布于 2016-07-07 03:01:15

sc.hadoopConfiguration.setInt("dfs.blocksize", some_value)
sc.hadoopConfiguration.setInt("parquet.block.size", some_value)

所以在PySpark

sc._jsc.hadoopConfiguration().setInt("dfs.blocksize", some_value)
sc._jsc.hadoopConfiguration().setInt("parquet.block.size", some_value)

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/38236892

复制

相似问题

问指定Parquet属性EN