Dataproc内存和本地磁盘使用度量

Question

我试图使用云度量来监视Dataproc2.0上本地磁盘的使用情况(百分比)。这将有助于监视星火临时文件填充磁盘的情况。

默认情况下，Dataproc似乎只发送本地磁盘性能指标、CPU等。度量和集群级HDFS度量，但不包括本地磁盘使用情况。

Dataproc映像上似乎安装了堆栈驱动程序代理，但它没有运行，因此Dataproc显然使用了另一种收集度量的方法。我检查了在/etc/stackdriver/collectd.conf中启用了df插件。但是，启动代理失败：

Jul 16 03:01:57 metrics-test-m systemd[1]: Starting LSB: start and stop Stackdriver Agent...
Jul 16 03:01:57 metrics-test-m stackdriver-agent[3829]: Starting Stackdriver metrics collection agent: stackdriver-agentThe instance has neither the application default credentials file nor the correct monitoring scopes; Exiting. ... failed!
Jul 16 03:01:57 metrics-test-m stackdriver-agent[3829]: not starting, configuration/credentials error. ... failed!
Jul 16 03:01:57 metrics-test-m stackdriver-agent[3829]:  (warning).
Jul 16 03:01:57 metrics-test-m systemd[1]: Started LSB: start and stop Stackdriver Agent.

是否有可能以某种方式监视Dataproc中的本地磁盘使用情况，并将这些指标推送到？

Answer 1

谷歌云监控代理安装在Dataproc群集VM上，但默认情况下禁用。

在创建集群时添加--properties dataproc:dataproc.monitoring.stackdriver.enable=true将启用它。代理收集来宾OS指标，包括内存和磁盘使用情况，这样您就可以在Cloud中查看它们。请参阅此文档中的属性。

顺便说一下，默认情况下收集CPU使用情况而不依赖代理的原因是，它是由GCE从VM主机收集的。但是对于内存和本地磁盘的使用，VM主机并不了解它们，它们必须从客户操作系统中收集，因此它取决于代理。当您启用代理时，将有两种不同类型的CPU使用度量，一种(计算)是从VM主机的角度，另一种(代理)是从来宾操作系统的角度。

定价：这些指标都是不免费的收费，检查云监控定价的定价。