请解释一下Hadoop集群环境的高层架构？

Question

由于是的新手，因此正在尝试理解实时生产系统中的Hadoop集群设置环境。

1)到目前为止，大多数项目是在Hadoop v1或Hadoop v2上运行的吗？

2)对于单个项目，我们是有一个集群还是多个集群？(我听说有多个集群，每个集群都专门用于特定角色。)

3) Hadoop集群通常运行在云上，比如AWS、Rackspace，还是运行在客户端没有自己的网络上？

Answer 1

所有的问题，你已经完全取决于客户，项目和许多其他因素。但这是我的两分钱

1)大多数项目已切换到Hadoop v2。

2)视情况而定，很明显，在生产前，开发、测试和分期等都会有1到2个env。但是在生产中，一个项目将有一个环境，或者一个环境处理多个项目。(Yahoo有4500个节点hadoop集群)

3)节点数量因公司处理的数据量而异。有一些公司在4个节点集群和4000个节点集群上运行生产集群。

4)这同样取决于它们存储和处理的数据类型。拥有银行等敏感信息的客户通常不会选择云，因为他们认为数据在自己的数据中心是安全的。但是有些客户完全选择云，因为他们节省了很多钱(比如“纽约时报”上的AWS)。