gmond / ganglia的火花度量

Question

OS:百分比OS 6.4

问题:在服务器上安装了gmond、gmetad和gweb。在同一台服务器上安装了火花工作人员。在$SPARK_HOME/conf/metrics.properties中配置metrics.properties如下所示..。

CONFIGURATION (metrics.properties in spark): 

org.apache.spark.metrics.sink.GangliaSink

host      localhost

port      8649

period    10

unit      seconds

ttl       1

mode      multicast

我们无法在ganglia网站上看到任何指标。请做必要的事。

-pradeep samudrala

Answer 1

首先，这些只是Ganglia默认设置的迹象。你不应该取消评论。摘自Spark页面(火花页)的度量部分：

要安装GangliaSink，您需要执行Spark的自定义构建。注意，通过嵌入这个库，您将在Spark包中包含LGPL许可的代码。对于sbt用户，在构建之前设置SPARK_GANGLIA_LGPL环境变量。对于Maven用户来说，启用-lgpl配置文件。除了修改集群的Spark之外，用户应用程序还需要链接到火花-ganglia-lgpl工件。