我有一个EMR上的星火流作业,它在30分钟的批处理中运行,处理数据,最后将输出写入S3中的几个不同文件。现在,S3的输出步骤太长(大约30分钟),无法将文件写入S3。在进一步的调查中,我发现大部分时间都是在所有任务将数据写入临时文件夹之后(20岁以内),其余的时间是由于主节点将S3文件从_temporary文件夹移到目标文件夹并重命名等原因(类似于:火花:工作之间的长时间延迟)。
关于职务配置、文件格式等的其他一些细节如下:
现在,虽然在作业中默认启用了EMRFS输出提交器,但它不起作用,因为我们使用的是RDDs和文本文件格式,仅支持post EMR6.40版本。优化S3保存所需时间的一种方法是升级EMR版本,将RDDs转换为DataFrames/Datasets,并使用它们的API而不是saveAsTextFile。还有其他更简单的解决方案可以优化工作所需的时间吗?
发布于 2022-03-31 10:50:48
还有其他更简单的解决方案可以优化工作所需的时间吗?
除非您使用S3特定的提交器,否则您的工作不仅会很慢,而且在出现故障时将是不正确的。因为这对您可能很重要,慢作业提交甚至在工人失败导致无效输出之前就提供了问题的早期警告,这是很好的。
选项
s3a零重命名提交器确实在saveAsTextFile中工作,但是AWS不支持它们,而且ASF开发人员不对EMR进行测试,因为它是亚马逊自己的分叉。您可能可以让亚马逊发布的任何s3a连接器正常工作,但如果它不起作用,您就只能靠自己了。
https://stackoverflow.com/questions/71668189
复制相似问题