用Datadog监测数据流管道

Question

我正在寻找一种使用Datadog来监视GCP数据流管道的解决方案，以提取内置的度量以及Beam自定义度量。目前，Datadog为其他GCP服务提供集成，但不为Dataflow提供集成。是否有人做过类似的工作，并且可以分享如何将其构建为自定义解决方案？

Answer 1

就目前而言，我只看到两种可能性：

1. 使用GCP自定义度量，使用来自google云客户端/google云监视和堆栈驱动程序与Datadog的集成。
2. 使用部署在云中的datadog代理并使用Datadog StatsD客户机连接到它(Java，Python，Go)
3. 使用GCP自定义度量https://cloud.google.com/monitoring/custom-metrics/creating-metrics和datadog与GCP https://www.datadoghq.com/product/integrations/#cat-google-cloud集成。 最终的.setMetricKind(MetricDescriptor.MetricKind.GAUGE)客户端= MetricServiceClient.create()；ProjectName名称= ProjectName.of(projectId)；MetricDescriptor描述符= MetricDescriptor.newBuilder() .setType(metricType) .setDescription(“这是一个定制度量的简单示例。”)Client.createMetricDescriptor(请求)；
4. 使用datadog客户端，java https://github.com/DataDog/java-dogstatsd-client，这样您就可以在GCP上部署datadog代理并通过它进行连接。带库伯奈特斯的样品。https://docs.datadoghq.com/tracing/setup/kubernetes/#deploy-agent-daemonset 导入com.timgroup.statsd.ServiceCheck；导入com.timgroup.statsd.StatsDClient；导入com.timgroup.statsd.NonBlockingStatsDClient；public类Foo {私有静态StatsDClient statsd =新NonBlockingStatsDClient( "my.prefix"，任何状态的/*前缀；可以为空或空字符串*/ "statsd-host"，/*公共情况: localhost */ 8125，/*端口*/新String[] {"tag:value"} /* Datadog扩展:常数标记，始终应用*/；公共静态最终无效main(String[] args) { statsd.incrementCounter("foo")；statsd.recordGaugeValue("bar"，100)；statsd.recordGaugeValue("baz"，0.01)；/* DataDog扩展:支持浮点量规*/ statsd.recordHistogramValue("qux"，15)；/* DataDog扩展:直方图*/ statsd.recordHistogramValue("qux"，15.5)；/* ...also浮点*/ statsd.recordDistributionValue("qux"，15)；/* DataDog扩展:全局分布*/ statsd.recordDistributionValue("qux"，15.5)；/* ...also浮点*/ ServiceCheck sc = ServiceCheck .builder() .withName("my.check.name") .withStatus(ServiceCheck.Status.OK) .build()；statsd.serviceCheck(sc)；/* Datadog扩展:发送服务检查状态*/ /*兼容性注意事项:与上游statsd不同，DataDog期望执行时间为*浮点值(以秒计)，而不是毫秒值。此库*执行从ms到小数秒的转换。*/ statsd.recordExecutionTime(“包”，25，“集群:foo”)；/* DataDog扩展:群集标记*/ } kubernetes的datadog deployment.yaml apiVersion: DaemonSet元数据:名称:datadog规范:模板:标签: app: datadog-agent名称: serviceAccountName: datadog-agent容器：-serviceAccountName:datadog/agent: imagePullPolicy: app name: datadog-agent端口：- containerPort: 8125 # hostPort: 8125名称: containerPort: 8126 # hostPort: 8126名称: TCP：- name: DD_APM_ENABLED值："true“-名称: DD_API_KEY值："”-名称: DD_COLLECT_KUBERNETES_EVENTS值：“真”-名称: DD_LEADER_ELECTION值：“真”-名称: KUBERNETES值：“是”-名称: DD_KUBERNETES_KUBELET_HOST valueFrom: fieldRef: fieldPath: status.hostIP资源:内存：“256 run”cpu：“200 m”限制:内存：“256 run”cpu：“200 m”volumeMounts：- name: dockersocket mountPath: /var/run/docker.sock - name: procdir : /host/procreadOnly:真名:cgroup mountPath: /host/sys/fs/cgroup readOnly: true livenessProbe: exec:命令：-/probe.sh initialDelaySeconds: 15 periodSeconds: 5卷：- hostPath: path: /var/运行/docker.sock名称: dockersocket - hostPath: /proc名称:/proc名称: hostPath: path: /sys/fs/cgroup名称:cgroup

目前我正在调查这件事，所以我还不知道该怎么做。