亚马逊弹性MapReduce上的阿帕奇·哈马

Question

我正在尝试使用https://github.com/awslabs/emr-bootstrap-actions/tree/master/hama脚本在亚马逊弹性MapReduce上运行阿帕奇哈马。但是，当尝试使用一个主节点和两个从节点时，BSP代码中的peer.getNumPeers()仅报告1个对等节点。我怀疑Hama是否在local模式下运行。

此外，查看https://hama.apache.org/getting_started_with_hama.html的配置，我的理解是所有服务器的列表应该放在属性hama.zookeeper.quorum的hama-site.xml文件中，也应该放在groomservers文件中。但是，我想知道这些在install script中是否配置正确。如果有人能指出这是否是脚本中的限制，或者我是否做错了什么，我将非常感激。

Answer 1

@Madhura

Hama并不总是需要groomserver文件来运行完全分布式模式。仅使用start-bspd.sh运行hama集群需要groomserver文件。但是hama的emr-bootstrap-action使用hama-daemon.sh文件在每个从节点上运行groomserver。在install script中执行的代码如下。

$ /bin/hama-daemon.sh --config ${HAMA_HOME}/conf start groom

我认为您需要检查emr日志是否有错误。