Hadoop失败/Hung作业的调试过程

Question

我正在学习，但是我不知道如何开始调试，如果我的工作比它的平均时间要长，或者如果我的工作失败了，从哪里开始调试。

我通常从Resource中的日志开始，但我想知道是否还有任何其他进程可以作为Hadoop 进行调试。我正在寻找一种使用调试Hadoop作业的通用方法。

Answer 1

日志帮助，以防您最后遇到失败的作业。我假设你的工作是成功的，但进展缓慢。

开始为运行缓慢的作业进行调试的最佳位置是查看“职务”计数器(一旦进入“职务”的“应用程序母版”页面，就可以在左侧面板上找到计数器链接)。请参阅Hadoop权威指南的第8章，了解每个计数器的详细含义。