将带有嵌套列的bigquery表导出到csv文件的最佳方法

Question

朋友,

我试图通过平平行将带有嵌套列(Array，Struct)的BigQuery表导出到CSV文件中。

我已经尝试过bq export和Python (from google.cloud import bigquery)，这两个选项都有。

在网络性能和作业调度方面，哪种方法更好？

我正在考虑在Scheduler或Composer上安排一个作业，它将运行导出脚本在云存储中编写csv文件。

我知道bq export需要云sdk，而Python适用于云函数。但是试图理解哪种方法对性能是最好的。有什么建议吗？

另外，任何与它们相关的链接都是有帮助的。

你好，桑特

Answer 1

两者在表现上并无重大差异。bq export和Python都是用Python编写的，它们都在幕后调用相同的BigQuery REST。

主要区别在于您是编写命令行脚本还是编写Python脚本。Composer可以同时使用python_operator和bash_operator这两个脚本。所以这只是一个编程语言的选择/偏好的问题。