问如何在google云上合并和压缩大型文件？
EN

Stack Overflow用户

提问于 2020-02-21 03:41:47

回答 1查看 297关注 0票数 0

我想合并一组csv文件并将它们压缩到GCP中。

我将得到一个包含大量csv files的GCP bucket文件夹(40 GB的数据)。一旦接收到整个数据，我需要将所有的csv files合并到一个文件中并将其压缩。然后把它储存到另一个地方。我一个月只需要做一次。

我怎样才能做到这一点呢？

我计划使用以下策略，但不知道这是否是一个好的解决方案

回答已采纳

发布于 2020-02-21 20:00:26

将CSV文件发送到GCP实例中的目录可能要容易得多，您可以使用cron作业压缩这些文件，并最终使用gsutil将其复制到桶中。

如果将文件发送到实例是不可行的，您可以使用gsutil下载它们，压缩它们并再次上传zip文件。

无论哪种方式，您都必须给实例服务帐户适当的IAM角色来修改桶的内容，或者给它ACL级访问 -最后不要忘记给它适当的对实例的作用域

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/60331892

复制

相似问题

问如何在google云上合并和压缩大型文件？EN