在LucidWorks融合中启用火花度量

Question

我正在尝试将石墨接收器添加到我的Fusion组件中。

我创建了一个文件-包含内容的${FUSION_DIR}/apps/spark-dist/conf/metrics.properties -

# Enable Graphite
*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=graphite-server
*.sink.graphite.port=2003
*.sink.graphite.period=10
*.sink.graphite.prefix=lab.$(hostname)

# Enable jvm source for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

并将以下内容添加到${FUSION_DIR}/apps/spark-dist/bin/spark-submit中-

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf=metrics.properties  "$@"

但我在Graphite中没有看到任何指标，在Spark日志中也没有错误。

是否有人成功地使用了融合中的星火度量配置？

Answer 1

我需要将完整的路径添加到spark-submit中的-conf参数-

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf="${SPARK_HOME}"/conf/metrics.properties "$@"。

当started和workers进程启动时，我没有看到一个错误，但我在启动spark-shell时确实看到了一个错误，它使我陷入了配置问题。