发送指标: Spark到Graphite

Question

我们设法让Spark (2.x)通过更改metrics.properties文件将指标发送到石墨，如下所示：

# Enable Graphite
*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=graphite-host
*.sink.graphite.port=2003
*.sink.graphite.period=5
*.sink.graphite.prefix=my-app

然而，我注意到，与Monitoring Web (http://localhost:4040)相比，我们在石墨中只获得了指标的一个子集。是否有任何设置来获取所有指标(包括累加器)的石墨？

Answer 1

我使用这个库将用户代码中的用户定义指标嵌入到Graphite：spark-metrics中

在驱动器端初始化公制：

UserMetricsSystem.initialize(sc, "test_metric_namespace")

然后像Spark Accumulators一样使用Counter Gauge Histogram Meter

UserMetricsSystem.counter("test_metric_name").inc(1L)

对于Grafana，您可以指定--conf spark.app.id=job_name，以便在Grafana中，使用多个应用程序id运行的不同作业的指标可以具有相同的指标名称。例如，在不设置spark.app.id的情况下，指标名称可以包括应用程序id，如下所示：

job_name.application_id_1.metric_namespace.metric_name

但是通过设置spark.app.id，它看起来如下所示：

job_name.unique_id.metric_namespace.metric_name