如何使用Prometheus指标监控Grafana中的Flink Backpressure

Question

Flink Web UI有一个出色的背压部分。但我看不到任何指标，由普罗米修斯记者给出，可以用来检测背压的相同方式为Grafana仪表盘。

​

有没有办法在Flink Web UI之外获得相同的指标？使用此处描述的指标https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html。或者甚至有一个普罗米修斯刮刀来抓取web api？

Answer 1

Flink仪表板中显示的背压监测没有使用指标系统，因此这些值不能通过MetricsReporter获得。但您可以通过REST api访问此信息，网址为

/jobs/:jobid/vertices/:vertexid/backpressure

虽然这种背压检测机制是有用的，但它也有其局限性。它的工作方式是调用Thread.getStackTrace()，这很昂贵，而且一些运算符(如AsyncFunction)在未被采样的线程中执行关键活动。

调查反压力的另一种方法是在flink-conf.yaml中设置此配置选项

taskmanager.network.detailed-metrics: true

然后，您可以查看度量入站/出站网络队列长度的指标。