google数据流写入bigquery表性能

Question

我将处理数据和输出的性能与Bigquery表和文件进行了比较，差异是显著的：

输入:大约600个文件中的150万条记录转换:构造/转换每条记录中的几个字段，构造一个键并发出键、值对；最终每个键的记录转到一个目标、一个文件或一个表；

写入13个文件需要7分钟，写入13个bigquery表需要超过60分钟；

试着理解这是预期的结果，还是我做得不对？在写入bigquery表时需要考虑哪些因素？

请帮帮忙，这可能是我想要做的事情的止步。

Answer 1

对于批处理作业，数据流将数据导入BigQuery，方法是将数据写入GCS，然后运行BigQuery作业将数据导入BigQuery。如果您想知道BigQuery作业需要多长时间，我想可以查看项目中运行的BigQuery作业。

您可以尝试使用以下命令来获取有关BigQuery导入作业的信息。

  bq ls -j <PROJECT ID>:

上面的命令应该会向您显示作业列表和持续时间等内容。(请注意项目ID末尾的冒号，我认为冒号是必需的)。

然后，您可以尝试

bq show -j <JOB ID>

以获取有关该作业的其他信息。

注您必须是项目的所有者，才能查看其他用户运行的作业。这适用于数据流运行的BigQuery作业，因为数据流使用服务帐户。