我可以使用GCP中的bigQuery命令行工具来完成ETL工作吗？

Question

我想问你一个关于Google平台的bigQuery的问题。

我想做的工作是使用bq进行ETL。

ETL指的是提取、转换和加载。

具体来说，我想在JSON格式的数据中添加一个列。另外，我希望更改添加的列的数据类型。

例如

{
Cookie: 'test_cookie'
Time: "2020-10-26 00:00 UTC"
Data named } 

已经存在。

这里

{
Cookie: 'test_cookie'
dt: "2020-10-26"
hour : 00
timestamp : "2020-10-26 00:00 UTC"
} 

即将以这种方式执行数据ETL操作。

我发布了一个问题，因为很难找到任何与Google平台文档相关的内容。

能做以上的工作吗？

谢谢。

Answer 1

您应该能够使用bq命令行工具完成大部分操作。有几种方法你可以处理它。

1. 执行一些unix脚本来包装整个过程，保留bq命令行工具来执行加载。这更像是一种ETL场景。
2. 采用更多的ELT方法，首先将数据加载到一个stage表中，然后使用一些日期函数在BigQuery中操作它，以解析时间列并加载结果数据。

关于GCP的文档相当健壮，下面是一些可能帮助您入门的链接：https://cloud.google.com/bigquery/docs/quickstarts/quickstart-command-line

https://cloud.google.com/bigquery/docs/reference/bq-cli-reference

https://cloud.google.com/bigquery/docs/bq-command-line-tool

https://codelabs.developers.google.com/codelabs/bigquery-cli#0