如何使用EMR处理来自下载URL的海量图像

Question

我有一个带有图像urls的文本文件，每个urls都用换行符分隔。

我想通过保存到S3存储桶来处理这些海量的图像，并使用nodejs处理它们。

如果不是更好的解决方案，如何使用EMR来实现这一点呢？

Answer 1

你可以考虑使用S3 + Lambda。当然，这取决于你想要下载多少图像，以及你需要对它们做什么。您可以在读取文本文件、获取每个图像并将每个图像放到S3上的EC2实例(甚至是您的本地计算机)上运行节点进程。您可以在S3上创建触发器，以便在将任何新项目放入存储桶时，它会调用AWS Lambda函数。然后，Lambda函数可以按照您的需要处理图像。这里的限制是Lambda有5分钟的最大执行时间，所以它取决于您真正需要对图像做什么。如果处理时间少于这个时间，那么它应该是OK的。

这是相对简单和快速的，因为它将根据需要创建尽可能多的Lambda实例来处理负载。

也许一个合理的想法是对它进行建模，以确保它符合您的预算：https://aws.amazon.com/lambda/pricing/。