Hadoop shuffle使用哪种协议？

Question

在Hadoop数据的混洗阶段，映射的数据根据reducer的分区跨集群的节点传输。Hadoop使用什么协议在reduce阶段跨节点执行数据混洗？

Answer 1

我第一次真的笑了，但整个混洗和合并都是由一个HTTPServlet完成的。

您可以在匿名类MapOutputServlet的HTTP源代码中看到这一点，它得到一个带有任务和作业is的Tasktrackers请求，然后将传入的输入流传输到磁盘上的本地文件系统中。