首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >什么是“分区数据”- S3

问什么是“分区数据”- S3
EN

Stack Overflow用户
提问于 2022-03-07 09:30:08
回答 2查看 78关注 0票数 0

我想使用Netflix的outputCommitter (使用Spark和Amazon )。在自述文件中,有两个选项:

  1. S3DirectoryOutputCommitter -用于使用冲突resolution.
  2. S3PartitionedOutputCommitter将未分区数据写入S3,将分区数据写入具有冲突解决方案的S3。

我试着理解其中的不同之处,但没有成功。有人能解释一下s3中的“分区数据”是什么吗?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2022-03-07 15:03:53

根据hadoop文档,“此提交器是”目录“提交器的扩展,它具有特殊的冲突解决策略,用于支持将新数据插入使用Hive分区策略构造的目录树的操作:树的不同级别代表不同的列。”

在hadoop文档中搜索详细信息。

请注意,EMR提交者不是ASF S3A提交者,因此选择不同的配置选项,并拥有自己的文档。但是由于他们的工作是netflix工作的重新实现,他们应该在这里做同样的事情。

票数 1
EN

Stack Overflow用户

发布于 2022-03-07 22:06:10

我对outputCommitter并不熟悉,S3中的分区数据通常指在目录间分割文件,以减少需要从磁盘读取的数据量。

例如:

代码语言:javascript
复制
/data/month=1/
/data/month=2/
/data/month=3/
...

如果使用像WHERE month=1这样的子句对数据运行Hive类型的查询,那么它只需要查看month=1/子目录,从而节省了2/3 3rds的磁盘访问。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/71378909

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档