通过亚马逊EC2 Hadoop下载许多大文件

Question

我正在考虑在亚马逊ec2上推出一个hadoop集群来下载数万个文件，然后对它们进行一些处理，但在投入大量工作之前，我想知道是否有比我更有经验的人认为这是可能的？我对能否在hadoop slaves上下载文件有一些疑问。

如果你认为这是可能的，我能期望在亚马逊ec2上运行的每个从站都有不同的ip地址吗？

我想使用python来完成大部分工作(例如用于下载的urllib2模块)，并且尽可能少使用java。

Answer 1

可以将数据下载到ec2上的hadoop上。Hadoop有一个分布式文件系统(HDFS)，它负责将数据块放到从服务器上，并遵守配置中指定的复制因素。

ec2中的从机具有不同的ip地址。