问我可以在不列出每个文件名的情况下将Google Cloud Storage存储桶中的每个项目加载到BigQuery表中吗？
EN

Stack Overflow用户

提问于 2013-05-22 08:27:30

回答 1查看 789关注 0票数 1

我每隔2-3分钟用我的new服务器上的数据向Google Cloud Storage存储桶中写入新的日志文件(管道分隔值)。我在一个Google Cloud Storage存储桶中有数千个~1MB的文件，并希望将所有文件加载到一个BigQuery表中。

"bq load“命令似乎需要单独的文件，并且不能接受整个存储桶或带前缀的存储桶。

在gs存储桶中加载数千个文件的最好方法是什么？我真的必须获取每个文件的URI，而不是仅仅指定存储桶名称或BigQuery的存储桶和前缀吗？

发布于 2013-05-23 09:03:53

您可以使用glob样式的通配符。例如，gs://bucket/prefix*.txt。

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/16681628

复制

相似问题

问我可以在不列出每个文件名的情况下将Google Cloud Storage存储桶中的每个项目加载到BigQuery表中吗？EN