我正在做一些非常简单的图像处理步骤。以下是几个步骤:
如果我不得不在没有考虑的情况下快速实现它,我只需为每个步骤编写一个带有子函数的简单python脚本(如果出了问题就抛出异常--有些步骤很好,比如(4))。其他步骤,如(5.)是必要的)。
我听说了luigi和管道,并想知道这是否是一个用例。
使用像luigi这样的东西或者其他的东西会有什么好处--对于我试图解决的问题,有什么最佳的实践吗?
为了给你一些数字,现在我有大约20 To的数据和超过100 K的图像。每天都有关于必须处理的10k+图像。
非常感谢!
发布于 2017-10-12 22:04:30
如果您计划使用EC2实例,那么使用工作流编排框架(如luigi和管道)是有意义的。
但是,您可以在AWS中使用更好的方法,使用Lambda和阶跃函数。在这里,您可以在每个步骤中使用图像转换逻辑设计事件驱动的工作流,而step函数则通过可视化来管理状态机,这是固有的可伸缩性。
您可以按以下方式设计事件驱动的流。
上传图像到S3 ->触发器step函数工作流->写回S3。
https://stackoverflow.com/questions/46719291
复制相似问题