确定在Pig脚本中启动的Mappers和Reducer的数量

Question

我正在使用Hortonworks的沙盒VM来运行Hadoop服务。我在Tez模式下执行了一个Pig过滤器脚本。我看错地方了吗？

Answer 1

当您在Tez模式下运行时，它没有映射器或缩减程序。Tez使用任务的DAG (有向无环图)来处理数据。因此，顶点和边替换了映射器/缩减器。如果你使用的是Ambari，它会提供一个“Tez View”来查看更多关于工作的详细信息。此外，您还可以启用/安装Tez (https://tez.apache.org/tez-ui.html)来查看该信息。