Apache Crunch管道如何生成map reduce作业？

Question

我不熟悉像Crunch/Cascading这样的hadoop管道框架。我在想，在这些框架的底层，它们是否生成原始的映射器和缩减类，就像原始的MapReduce程序一样？在Crunch源代码中，我没有找到将管道转换为原始MapReduce类的代码。

Answer 1

您可以使用代码中的以下几行来可视化创建的MapReduce计划崩溃。将在pipeline.dot中创建的点代码复制到graphviz中以查看计划。

String dot = pipeline.getConfiguration().get("crunch.planner.dotfile");
Files.write(dot, new File("pipeline.dot"), Charsets.UTF_8);