使用0.23版本设置Hadoop集群(MRv2或NextGen MR)

Question

正如我所看到的，hadoop的最新稳定版本是0.20.x。最新发布的是0.23。似乎有很多来自.20的念珠。至0.23.x。

我们能够建立稳定的关联酶(0.20.2)的小型集群，并实现mapreduce编程。

我们已经在0.23.x中看到了许多新的api。为了探索0.23.x，我们还需要安装0.23.x版本的集群。

你们能告诉我们一个文档吗，我们可以用0.23.x发行版来设置集群。

似乎0.23.x是完全不同的，当我打开tar文件时，它不像0.20.x。请给我们一些书籍参考/文档，集群设置是从一开始就提到的。

谢谢MRK

Answer 1

0.23版与前0.23版的主要区别在于，在0.23版中，资源管理和应用程序生命周期管理已经分开。预0.23只允许运行MapReduce应用程序，但0.23允许除MapReduce之外的其他应用程序。已经有Hama，Gi相图和其他一些应用程序已经移植，MPI的移植正在进行中。

我们在0.23.x中看到了很多新的api。为了探索0.23.x，我们还需要安装0.23.x版本的集群。

用户API没有任何不同，因此现有的应用程序应该在没有任何代码更改的情况下运行，但是需要修改配置文件。从API的角度来看，0.23版本是向后兼容的。

以下是MRv2架构、视频、文章等的综合列表。当我遇到新的信息时，我将尝试更新它们。

http://www.thecloudavenue.com/p/mrv2resources.html

Answer 2

这是r0.23.0中用于集群设置的正式文档：

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/ClusterSetup.html