我在亚马逊网络服务的S3存储桶中存储了大量的图像。
每周,我都会对所有这些图像运行一次分类任务。我目前的做法是把所有的图片下载到我本地的PC上,处理它们,然后在这个过程完成后修改数据库。
我希望减少下载图像所花费的时间,以提高分类任务的整体速度。
EDIT2:
实际上,我需要一次处理20,000张图像,以提高分类引擎的性能。这意味着我不能使用Lambdas,因为可用RAM的最大选项是3 3GB,而且我需要16 3GB来处理所有20,000张图像
分类任务使用大约16 of的RAM。我可以使用什么AWS服务来自动执行此任务?有没有什么服务可以和S3存储桶放在同一个VLAN里,让镜像传输得非常快?
整个过程大约需要6个小时。如果我用16 an的内存启动一个EC2,这将是非常不划算的,因为它将在6个小时后完成,然后一周的剩余时间坐在那里什么也不做。
有没有一种服务可以以更有效的方式自动执行这项任务?
编辑:
每个图像大约20-40KB。分类是一个神经网络,所以我需要下载每个图像,这样我就可以通过网络提供它。
同时处理多个图像(20,000个批次),但处理部分实际上并不需要那么长时间。整个过程中最长的部分是下载部分。例如,下载大约需要5.7小时,处理总共需要大约0.3小时。这就是为什么我要尽量减少下载时间的原因。
发布于 2019-08-06 09:29:35
出于您的目的,您仍然可以使用EC2实例。如果您有大量数据要从S3下载,您可以将EBS卷附加到实例。
您需要使用运行作业所需的所有工具和软件来设置实例。当您没有任何进程可运行时,您可以关闭实例。并在您想要运行该进程时启动它。
EC2实例处于停止状态时不收取费用。您将按实例附带的EBS卷和Elasitc IP进行计费。
您还将收取在S3上存储EC2镜像的费用。
但我认为这些成本将低于一直运行EC2实例的成本。
您可以使用AWS实例调度程序来调度实例的启动和停止。
https://www.youtube.com/watch?v=PitS8RiyDv8
您也可以使用AutoScaling,但这将比使用Instance Scheduler更复杂的解决方案。
发布于 2019-08-06 08:01:02
我会在Kinesis streams中寻找这一点,但很难说,因为我们不确切地知道您正在对图像进行什么处理
https://stackoverflow.com/questions/57367295
复制相似问题