首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >创建图像处理管道

问创建图像处理管道
EN

Stack Overflow用户
提问于 2017-10-12 21:38:41
回答 1查看 417关注 0票数 0

我正在做一些非常简单的图像处理步骤。以下是几个步骤:

  1. 从aws s3下载特定id的图像
  2. 将图片从gif或任何东西重新格式化为jpg。
  3. 检查图像大小
  4. 如果可能的话,调整图像的大小(只是在考虑:向上/下采样图像-还不确定这一步骤是否即将到来)
  5. 分类图像和更新数据库信息
  6. 获取下一个id并重复1次。

如果我不得不在没有考虑的情况下快速实现它,我只需为每个步骤编写一个带有子函数的简单python脚本(如果出了问题就抛出异常--有些步骤很好,比如(4))。其他步骤,如(5.)是必要的)。

我听说了luigi和管道,并想知道这是否是一个用例。

使用像luigi这样的东西或者其他的东西会有什么好处--对于我试图解决的问题,有什么最佳的实践吗?

为了给你一些数字,现在我有大约20 To的数据和超过100 K的图像。每天都有关于必须处理的10k+图像。

非常感谢!

EN

回答 1

Stack Overflow用户

发布于 2017-10-12 22:04:30

如果您计划使用EC2实例,那么使用工作流编排框架(如luigi和管道)是有意义的。

但是,您可以在AWS中使用更好的方法,使用Lambda和阶跃函数。在这里,您可以在每个步骤中使用图像转换逻辑设计事件驱动的工作流,而step函数则通过可视化来管理状态机,这是固有的可伸缩性。

您可以按以下方式设计事件驱动的流。

上传图像到S3 ->触发器step函数工作流->写回S3。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46719291

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档