EC2实例中的亚马逊云服务S3中的流程数据

Question

我想知道处理存储在亚马逊网络服务S3存储桶中的大量图片的最佳方式是什么，这些图片来自位于同一可用区的Ec2实例。

我是否应该下载每次需要处理的图像，然后在完成处理后删除它们，并在每次需要进行处理时执行相同的操作？

或者还有更好的方法，比如将S3存储桶挂载到EC2实例中？我见过像Fuse这样用于挂载的工具，但我不确定这是否是处理数据的最佳方式。

Answer 1

首先。请注意，每个EC2实例都可以被终止，因此应将数据和结果保存在合理的存储位置--如S3。

如果你把整个图像放到内存中，然后处理。我看不出需要获取到磁盘。另一方面，如果图像很大，你可以多次获取每个部分。因此，至少在没有更多信息的情况下，没有简单的答案。

您可以查看map reduce解决方案。他们是如何将数据保存在处理单元附近的。Spark能够处理记忆中的事物。

关于挂载资源。还可以挂载其他选项，如Elastic File System或Elastic Block Storage。