Spark web UI不随应用程序运行而更新(在Yarn上)

Question

我们的Spark web UI (当从Yarn UI或Spark History Server访问时)不再更新，当我查看正在运行的Spark应用程序(我们的应用程序在Hadoop/Yarn集群上以客户端模式运行)时，重新加载浏览器窗口。这曾经适用于Spark 1.5.2，但在我们升级到HDP 2.6.4 (因此Spark 1.6.3和Spark 2.2.0)之后，我现在必须等待应用程序完成，然后才能进行web UI更新(对于1.6.3和2.2.0)。

似乎当我第一次在Spark web UI中查看应用程序时，我得到的是当前状态。但在此之后刷新浏览器窗口不会显示任何更新。只有在应用程序完成后，刷新浏览器才会显示任何更改。通常它会显示最终状态，但有时甚至不会显示出来。

Spark UI示例屏幕截图：(显然，我第一次加载页面是在应用程序处于阶段41的时候。刷新浏览器不会显示任何更新/更改，而应用程序正在运行。当应用程序完成时，重新加载浏览器将显示最终状态--即所有阶段完成。)

​

​

我们在安巴里将spark.history.fs.update.interval设置为10s，希望这可能是相关的。这似乎没有什么帮助。我查看了运行历史服务器的主节点，发现Ambari的更改似乎被推了出来：

# pwd
/usr/hdp/current
# grep -R "spark.history.fs.update.interval" *
spark-client/conf/spark-defaults.conf:spark.history.fs.update.interval 10s
spark-historyserver/conf/spark-defaults.conf:spark.history.fs.update.interval 10s
spark-thriftserver/conf/spark-defaults.conf:spark.history.fs.update.interval 10s

另一个问题(我假设是直接相关的)：在Yarn/RM UI中，单击正在运行的Spark App的"ApplicationMaster“链接就挂起了-- Spark UI没有显示。(我必须转到Spark History服务器URL来查看正在运行的(“未完成”)应用程序，从那里，通过单击应用程序ID链接，我可以进入正在运行的应用程序的Spark UI。但如上所述，Spark UI不会在应用程序运行时更新应用程序状态。)Spark应用程序完成后，在RM UI中单击该应用程序的"History“链接即可打开Spark UI。

Answer 1

通过driver_ip:port直接打开Spark UI，它更新信息非常快。相反，Spark History Server从hdfs读取json文件(驱动程序正在写入)，并检查它是否每10秒更新一次，并解析新的事件。

Spark History Server通常用于查看已完成的作业。