BigQuery查询历史记录:获取性能计数器/指标

Question

获得历史查询度量的最佳实践是什么。假设有3个用户，他们每天分别运行3、4、5个查询(通过JDBC/ODBC)。如何获得这些查询的列表以及其他元数据信息，例如。价格，扫描数据量，插槽，开始/结束时间，返回的行等…

对于这些查询，我还能得到等效的解释/执行计划吗？

我看到了一个可以尝试使用CLI的地方：

• 列出所有查询作业：bq ls -j -q
• 获取特定作业的数据：bq show --format=prettyjson -j <Job ID>

或者API可以给我更多的信息？

但归根结底，这里的最佳/推荐做法是什么？

例如，在AWS RedShift中，我可以使用视图/元表，如STL_QUERY、STL_QUERYTEXT、STL_CONNECTION_LOG、SVL_QUERY_SUMMARY视图等…。我想知道是否有类似的机制来使用SQL访问并过滤的信息？

Answer 1

..。或者API可以给我更多的信息？

可以使用职务:清单和工作:得到分别列出在指定项目中启动的作业，并返回有关特定作业的信息。

如果Jobs.get调用成功，此方法将在响应体中返回一个就业资源，在该响应正文中可以找到问题中提到的所有细节。

Answer 2

您可以使用BigQuery webUI获取所有信息，记住有1000个记录限制，但它提供了一个很好的方法，类似于AWS选项。

这是如何设置查看所有用户作业的选项：

​

​

使用“搜索”框，可以在搜索中应用筛选器。

​

​

单击右侧的箭头可以提供一些高级选项：

​

​