Spark History Server -标识作业写入的日志文件

Question

我想使用Spark History Server API(http://127.0.0.1:18080/api/v1/applications/)来识别/tmp/spark-events/中某些作业写入的日志文件。我可以看到作业ID与日志文件名相同，所以我想如果我有一个唯一的作业名，我可以查找它并获得相关的ID。我这里的问题是我有一个scala应用程序，它在代码中设置应用程序名称：

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size)")

每次运行作业时，它都具有相同的名称。是否可以在命令行中覆盖应用程序名称？我试着传递--name，但这不起作用。

如果做不到，有没有更好的方法呢？

Answer 1

我将以下代码添加到我的代码中并将其赋值给一个变量，从而将uuId作为arg传递：

val uuId = args(2)

然后，我使用以下命令将其添加到应用程序名称：

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size) $uuId")