首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用存储读接口将对象从BigQuery传输到云存储存储桶

问使用存储读接口将对象从BigQuery传输到云存储存储桶
EN

Stack Overflow用户
提问于 2021-09-22 03:20:52
回答 1查看 108关注 0票数 1

我计划将大约600 TB的数据从BigQuery导出到云存储中的存储桶中,用于归档。到目前为止,我已经尝试使用BQ的导出功能,但每天50 TB的限制阻碍了传输过程。我还研究过使用SQLSQL语句,但考虑到按需BQ定价,这可能会相当昂贵。

Storage Read API看起来像是为了解决出口限制而设计的,但似乎没有任何关于如何将大量数据从BQ显式传输到GCS的示例。我想知道在用于传输大量表的Python脚本中,这个过程会是什么样子。谢谢!

EN

回答 1

Stack Overflow用户

发布于 2021-09-22 06:50:52

根据Google Cloud Storage API的文档“控制台、Python或Ruby不支持流式传输”。

但是,您可以“通过管道将数据传输到gsutil cp命令,并使用破折号作为源URL”。

然后,您应该能够使用BigQuery Storage API Python客户端库编写Python脚本,并通过管道将其传递给gsuitl cp命令,以写入您的云存储存储桶:

PYTHON PROCESS | gsutil cp - gs://BUCKET_NAME/OBJECT_NAME

其中,PYTHON PROCESS是对使用BigQuery Storage API Python Client library的Python代码的包装。

为了澄清一下,你可以这样做:

代码语言:javascript
复制
python script_using_storageapi.py | gsutil cp - gs://name_of_bucket/name_of_object

我刚刚用一个简单的Python脚本使用print语句进行了尝试,它很有效,但可能还有更优雅的方式来发送Storage Read API对象:

代码语言:javascript
复制
def print_list(some_list):
    for element in some_list:
        print(element)


if __name__ == '__main__':
    test_list = ['Write', 'to', 'cloud', 'storage', 'bucket']
    print_list(test_list)
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69277777

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档