首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我可以使用什么亚马逊网络服务来高效地处理每周的大量S3数据?

问我可以使用什么亚马逊网络服务来高效地处理每周的大量S3数据?
EN

Stack Overflow用户
提问于 2019-08-06 07:52:13
回答 2查看 58关注 0票数 0

我在亚马逊网络服务的S3存储桶中存储了大量的图像。

每周,我都会对所有这些图像运行一次分类任务。我目前的做法是把所有的图片下载到我本地的PC上,处理它们,然后在这个过程完成后修改数据库。

我希望减少下载图像所花费的时间,以提高分类任务的整体速度。

EDIT2:

实际上,我需要一次处理20,000张图像,以提高分类引擎的性能。这意味着我不能使用Lambdas,因为可用RAM的最大选项是3 3GB,而且我需要16 3GB来处理所有20,000张图像

分类任务使用大约16 of的RAM。我可以使用什么AWS服务来自动执行此任务?有没有什么服务可以和S3存储桶放在同一个VLAN里,让镜像传输得非常快?

整个过程大约需要6个小时。如果我用16 an的内存启动一个EC2,这将是非常不划算的,因为它将在6个小时后完成,然后一周的剩余时间坐在那里什么也不做。

有没有一种服务可以以更有效的方式自动执行这项任务?

编辑:

每个图像大约20-40KB。分类是一个神经网络,所以我需要下载每个图像,这样我就可以通过网络提供它。

同时处理多个图像(20,000个批次),但处理部分实际上并不需要那么长时间。整个过程中最长的部分是下载部分。例如,下载大约需要5.7小时,处理总共需要大约0.3小时。这就是为什么我要尽量减少下载时间的原因。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-08-06 09:29:35

出于您的目的,您仍然可以使用EC2实例。如果您有大量数据要从S3下载,您可以将EBS卷附加到实例。

您需要使用运行作业所需的所有工具和软件来设置实例。当您没有任何进程可运行时,您可以关闭实例。并在您想要运行该进程时启动它。

EC2实例处于停止状态时不收取费用。您将按实例附带的EBS卷和Elasitc IP进行计费。

您还将收取在S3上存储EC2镜像的费用。

但我认为这些成本将低于一直运行EC2实例的成本。

您可以使用AWS实例调度程序来调度实例的启动和停止。

https://www.youtube.com/watch?v=PitS8RiyDv8

您也可以使用AutoScaling,但这将比使用Instance Scheduler更复杂的解决方案。

票数 3
EN

Stack Overflow用户

发布于 2019-08-06 08:01:02

我会在Kinesis streams中寻找这一点,但很难说,因为我们不确切地知道您正在对图像进行什么处理

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57367295

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档