收集单个hadoop作业的计数器和度量

Question

我正在寻找一种以事件驱动的方式收集单个hadoop作业的所有计数器和度量的方法，以便在elasticsearch中存储所有这些数据，以便以后进行故障排除和分析。

目前，我发现了一些似乎符合要求的方法：

1. 使用度量导出器，特别是允许获取每个容器内存和cpu使用量以及ContainerMetrics的MRAppMetrics，但它可以聚合所有作业的所有指标。
2. 使用历史服务器的REST API进行轮询非常简单，但需要大量的HTTP调用来收集作业、任务及其尝试的所有计数器。
3. 将额外的自定义EventHandler插入到MRAppMaster的事件调度员中，但MRAppMaster没有相应的机制来注册自定义事件处理程序。
4. 使用javaagent的黑魔法( javaagents )、字节码修改和类似aop的功能来拦截EventHandler#handle(T)方法的所有执行。这种方式应该能够解决所有的需求，但需要额外配置MR-jobs、javaagent开发和注册，而且通常看起来相当复杂。

那么，我想问的是，是否还有更简单的方法来收集单个hadoop作业的度量和计数器？

Answer 1

实际上，您可以将度量标准提供给任何收件人:实现自己的MetricsSink并配置hadoop来使用它。

或者，您可以使用已经与Hadoop发行版捆绑在一起的MetricsSink，如GraphiteSink，并在Graphite中获取度量标准。

注意，在作业完成之前，某些计数器是不可用的(成功与否)。

另外，选项2也有可能使HistoryServer陷入麻烦(当您使用大量映射器进行投票以获得一份工作时，它可能是OOM)。