如何获取有关BigQuery中正在使用/查询哪些视图和数据集的使用数据？

Question

我需要BigQuery中数据集和视图的使用数据。我想知道对所有不同的数据集和视图运行了多少查询。我的目标是了解当前正在使用的数据集和视图。

我查看了审计日志，但我无法将所有记录导出到excel中进行分析。我只能导出特定日期的最多300个日志。有没有办法在BigQuery中运行一个查询，让我得到这些数据，而不是从审计日志导出？

Answer 1

可以-您可以设置export "sink" in Stackdriver，以便将数据放入BigQuery中进行分析。它们还提供了有关如何导出payload fields are transformed的文档。

第一个链接包括一些关于过滤到BigQueryAuditMetadata类型的注释，但请注意，您还可以通过使用advanced log filter过滤有效负载中的字段(例如，如果您只想查看哪些表正在被写入、读取、只包括某些用户等)。

显然，如果您愿意，您可以将所有内容都流式传输到BigQuery中，但过滤可以帮助降低噪声。