我计划将大约600 TB的数据从BigQuery导出到云存储中的存储桶中,用于归档。到目前为止,我已经尝试使用BQ的导出功能,但每天50 TB的限制阻碍了传输过程。我还研究过使用SQLSQL语句,但考虑到按需BQ定价,这可能会相当昂贵。
Storage Read API看起来像是为了解决出口限制而设计的,但似乎没有任何关于如何将大量数据从BQ显式传输到GCS的示例。我想知道在用于传输大量表的Python脚本中,这个过程会是什么样子。谢谢!
发布于 2021-09-22 06:50:52
根据Google Cloud Storage API的文档“控制台、Python或Ruby不支持流式传输”。
但是,您可以“通过管道将数据传输到gsutil cp命令,并使用破折号作为源URL”。
然后,您应该能够使用BigQuery Storage API Python客户端库编写Python脚本,并通过管道将其传递给gsuitl cp命令,以写入您的云存储存储桶:
PYTHON PROCESS | gsutil cp - gs://BUCKET_NAME/OBJECT_NAME
其中,PYTHON PROCESS是对使用BigQuery Storage API Python Client library的Python代码的包装。
为了澄清一下,你可以这样做:
python script_using_storageapi.py | gsutil cp - gs://name_of_bucket/name_of_object我刚刚用一个简单的Python脚本使用print语句进行了尝试,它很有效,但可能还有更优雅的方式来发送Storage Read API对象:
def print_list(some_list):
for element in some_list:
print(element)
if __name__ == '__main__':
test_list = ['Write', 'to', 'cloud', 'storage', 'bucket']
print_list(test_list)https://stackoverflow.com/questions/69277777
复制相似问题