用Prometheus监控星火3号应用程序

Question

有一些非常基本的问题涉及到使用度量的拉出机制，以及如何使用Prometheus监视Spark 3应用程序：

1. ：Spark-3支持的PrometheusServlet接收器是否包含应用程序启动时间以来的所有指标？这些度量标准un-aggregated?
2. Where/How是存储在接收器中的度量信息吗?当Prometheus抓取端点时到底会发生什么？如果终结点显示应用程序启动时间以来的所有度量信息，那么用于存储这些度量的内存岂不是长期运行since applications?
3. Does Prometheus在每次重刮时获取所有度量(自应用程序启动时间以来)的问题吗？如果没有，它如何知道最后一次擦伤的度量？

谢谢。

Answer 1

你可以把它设置好自己看看..。:)

无论如何，每个度量的行为方式取决于度量(它是一个累积的度量或快照，如https://spark.apache.org/docs/latest/monitoring.html中所描述的那样)(每个度量都有一个标签来声明其类型)。

度量的过去值不被存储，而是由Prometheus周期性地获取它(这就是它所做的，因为它是基于拉的)。servlet只是以与prometheus兼容的方式格式化度量。