使用AWS处理大量图像

Question

我有很多100K+存储在S3中的图像，我有一些代码使用pySpark来处理其中的一些图像。我正在使用Anaconda，因此已经正确安装了大量的库，我正在使用库scipy、PIL进行图像处理。

我正计划使用电子病历，但以下是我的选择：

1. 如何正确安装集群上的所有库而不需要太多麻烦：

对于Python应用程序，只需传递一个.py文件而不是JAR，然后使用-py- file将Python .zip、.egg或.py文件添加到搜索路径中。-火花文件

1. 他们还支持自定义引导在提供集群时安装软件。然而，事实证明，Anaconda的linux安装并不像'yum y‘那么简单。安装工作包括：

- download anacondaxxx.sh 
- bash anacondaxxx.sh
- #answer 4 or 5 questions interactively 
- ..

​

有人能指出正确的方向吗?用安装了Spark和Anaconda Python (或者至少是PIL和PIL)的集群，什么是更好的方法。

Answer 1

你能用EMR引导动作做隐式安装吗？

您还可以考虑Lambda，因为它现在支持Python (2.7)。考虑到文件已经在S3中，您需要为它们编写Lambda事件脚本。