任务计数器与作业计数器的区别

Question

谁能帮我理解一下任务计数器和作业计数器在地图缩减中的区别？

Hadoop，权威指南说，任务计数器是那些随着任务的进展而更新的，而作业计数器是那些随着工作的进展而更新的。

这是唯一的不同，还是他们也有其他的区别？

Answer 1

任务计数器

任务计数器在任务执行过程中收集有关任务的信息，并将结果聚合到作业中的所有任务。任务计数器在每次时都会全部发送，而不是自上次传输以来发送计数，因为这样可以防止由于丢失消息而导致的错误。此外，在作业运行期间，如果任务失败，计数器可能会下降--例如，您不希望在一个失败任务的拆分中添加bad_records。因此，随着任务的顺利进行和完成，任务统计数据的总数被发送到任务跟踪器，任务跟踪器被传递给作业跟踪器。

作业计数器

作业计数器是由作业跟踪器(或纱线中的应用程序母版)维护的，因此它们不需要通过网络发送，与所有其他计数器不同，测量作业级统计信息，而不是在任务运行时更改的值--例如，TOTAL_LAUNCHED_MAPS计算启动的总映射任务的数量，这只是关于整个作业的统计信息。