首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >星火RDD S3 saveAsTextFile花了很长时间

问星火RDD S3 saveAsTextFile花了很长时间
EN

Stack Overflow用户
提问于 2022-03-29 20:05:33
回答 1查看 84关注 0票数 0

我有一个EMR上的星火流作业,它在30分钟的批处理中运行,处理数据,最后将输出写入S3中的几个不同文件。现在,S3的输出步骤太长(大约30分钟),无法将文件写入S3。在进一步的调查中,我发现大部分时间都是在所有任务将数据写入临时文件夹之后(20岁以内),其余的时间是由于主节点将S3文件从_temporary文件夹移到目标文件夹并重命名等原因(类似于:火花:工作之间的长时间延迟)。

关于职务配置、文件格式等的其他一些细节如下:

  • 电子病历版本: emr-5.22.0
  • Hadoop版本:Amazon2.8.5
  • 应用:Hive 2.3.4,Spark 2.4.0,Ganglia 3.7.2
  • S3文件:使用RDD saveAsTextFile API和S3A URL完成,S3文件格式是文本

现在,虽然在作业中默认启用了EMRFS输出提交器,但它不起作用,因为我们使用的是RDDs和文本文件格式,仅支持post EMR6.40版本。优化S3保存所需时间的一种方法是升级EMR版本,将RDDs转换为DataFrames/Datasets,并使用它们的API而不是saveAsTextFile。还有其他更简单的解决方案可以优化工作所需的时间吗?

EN

回答 1

Stack Overflow用户

发布于 2022-03-31 10:50:48

还有其他更简单的解决方案可以优化工作所需的时间吗?

除非您使用S3特定的提交器,否则您的工作不仅会很慢,而且在出现故障时将是不正确的。因为这对您可能很重要,慢作业提交甚至在工人失败导致无效输出之前就提供了问题的早期警告,这是很好的。

选项

  1. 升级。委员会成员的加入是有原因的。
  2. 使用一个真正的集群fs (例如HDFS)作为输出,然后上传。

s3a零重命名提交器确实在saveAsTextFile中工作,但是AWS不支持它们,而且ASF开发人员不对EMR进行测试,因为它是亚马逊自己的分叉。您可能可以让亚马逊发布的任何s3a连接器正常工作,但如果它不起作用,您就只能靠自己了。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/71668189

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档