如何可视化烫伤作业的步骤

Question

我的滚烫作业被转换为9个map reduce作业(m/r作业)。对我来说，理解每个m/r任务所代表的代码部分并不容易。有什么可以帮助我更好地理解我的工作吗？

//这是从我们在Tapad的内部wiki复制并粘贴的。请随时分享您的经验！

Answer 1

Scalding可以生成.dot格式的作业图。它触发了by this code。以下是步骤：

sbt
project mapreduce

run-main com.twitter.scalding.Tool com.company.YourJobClass \
  --tool.graph \
  --hdfs
  --arg1 value_1
  --arg2 value_2

您应该生成了2个以.dot结尾的文件。它们是文本文件。一个是你的工作使用的所有级联函数的非常详细的图表。另一个以_steps.dot结尾的文件是m/r作业的图表。在您喜欢的编辑器中打开它们，并尝试查找节点及其连接。

可以使用graphviz从.dot生成pdf或png文件。以下是步骤：

#if you don't have graphviz installed you can get it from brew on mac
brew install graphviz

#generate a pdf file
dot myjob_steps.dot -Tpdf myjob_steps.pdf

#generate a png file (could be huge!)
dot myjob_steps.dot -Tpng myjob_steps.png

奖励提示：可能仍然很难找出每个m/r作业在代码中的位置。向代码中添加描述会将它们添加到myjob_steps.dot文件中。尝试使用此函数并重新生成.dot文件。这就是不需要生成.pdf文件的地方。您只需在您喜欢的编辑器中打开myjob_steps.dot，然后使用搜索来查找您用来标记代码的描述。您可以在the scalding repo中找到示例。

Answer 2

我一直在用Sahale做这件事。它的设置非常简单，但需要注意的是，它似乎只适用于scala 2.11.x和scalding 0.16.x (在撰写本文时)。它使用与作业相关的滚烫行号可视化MapReduce作业流。因为它是一个数据库支持的web应用程序，所以它可以存储以前的运行，并且您可以在开发过程中跟踪作业性能。当我从IntelliJ运行被跟踪的作业时，一些指标丢失了，但是当我在一个真实的集群上运行东西时，它们都在那里。

这篇article很好地展示了Sahale所做的事情。