从Google cloud数据流收集应用程序指标

Question

在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化到Bigquery/Prometheus中，以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。

Answer 1

从数据流收集指标的最佳方法是使用Stackdriver Monitoring，它允许从堆栈驱动程序仪表板访问数据流作业指标，如作业状态、元素计数、系统延迟(用于流作业)和用户计数器。Stackdriver的另一个优势是警报功能，它将通知您各种情况，例如长时间流系统延迟或失败的作业。

这里有一个用于数据流的方便的指标list，例如job/is_failed -易于设置失败作业的警报。

如果您更喜欢使用图形UI来监控指标，请查看此blog post。

请注意，产品处于Beta状态。我希望上面的信息对你有用。