我想使用Netflix的outputCommitter (使用Spark和Amazon )。在自述文件中,有两个选项:
我试着理解其中的不同之处,但没有成功。有人能解释一下s3中的“分区数据”是什么吗?
发布于 2022-03-07 15:03:53
根据hadoop文档,“此提交器是”目录“提交器的扩展,它具有特殊的冲突解决策略,用于支持将新数据插入使用Hive分区策略构造的目录树的操作:树的不同级别代表不同的列。”
在hadoop文档中搜索详细信息。
请注意,EMR提交者不是ASF S3A提交者,因此选择不同的配置选项,并拥有自己的文档。但是由于他们的工作是netflix工作的重新实现,他们应该在这里做同样的事情。
发布于 2022-03-07 22:06:10
我对outputCommitter并不熟悉,S3中的分区数据通常指在目录间分割文件,以减少需要从磁盘读取的数据量。
例如:
/data/month=1/
/data/month=2/
/data/month=3/
...如果使用像WHERE month=1这样的子句对数据运行Hive类型的查询,那么它只需要查看month=1/子目录,从而节省了2/3 3rds的磁盘访问。
https://stackoverflow.com/questions/71378909
复制相似问题