文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Ganglia进行Spark监控

问使用Ganglia进行Spark监控
EN

Stack Overflow用户

提问于 2014-10-03 01:40:56

回答 2查看 3K关注 0票数 3

我正在测试Apache Spark框架。我需要监控我的集群的一些方面，比如网络和资源。

Ganglia看起来是我需要的一个很好的选择。然后，我发现Spark支持Ganglia。

在Spark监控网页上有这样的信息：“要安装GangliaSink，您需要执行Spark的自定义构建。”

我在我的Spark中找到了目录：“/extras/spark-ganglia lgpl”。但是我不知道怎么安装它。

如何安装Ganglia监控Spark集群？我如何做这个定制的构建？

谢谢!

ganglia

apache-spark

回答 2

Stack Overflow用户

发布于 2014-12-03 09:50:41

Spark Ganglia支持是Spark项目的Maven配置文件之一，它的名称是"spark-ganglia-lgpl“。为了激活配置文件，您在构建项目时在mvn命令中设置了"-Pspark-ganglia-lgpl“选项。例如，使用Ganglia构建Apache Hadoop2.4.X是通过

mvn -Pspark-ganglia-lgpl -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

有关构建Spark项目的信息，请参阅Building Spark with Maven文档

票数 1

Stack Overflow用户

发布于 2015-05-12 10:56:44

因此，如果您运行的是HDP堆栈，我建议您更新到最新版本。它包括spark作业跟踪器以及要在机器上部署的spark客户端库。它现在还将与ambari指标集成，后者将取代Ganglia和Nagios

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/26166398

复制

相似问题

问使用Ganglia进行Spark监控
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Ganglia进行Spark监控EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Ganglia进行Spark监控
EN