实时监控Spark作业

Question

我想要实时监控Spark Jobs

为此，我已经从Spark Monitoring REST API中获取数据并以可视化方式显示。一种解决方案是每隔1秒轮询API一次。但我想在没有投票的情况下这样做。

我们可以做一些像Webhook那样的事情吗。

提前感谢:)

Answer 1

我不知道Webhook，但我认为你可以使用SparkListener将spark scheduler事件实时推送到你的后端应用程序中。