如何在google云平台上解压缩文件夹？

Question

我的数据集以以下形式显示，其中3个文件夹标记为0、5、10，每个文件夹有大约20万张图像：

frames_zip :
           ->0
           ->5
           ->10

我一直试图用Dataflow API解压缩我的文件夹，使用批量解压缩云存储文件，但是这些文件夹被解压缩到一个文件中。我也尝试过这个问题中的所有东西，但是都没有用。

Answer 1

要做到这一点，有几种方法。

• 如果是一次，只需
  • 创建一个计算引擎，
  • 在上面安装拉链
  • 从存储下载您的文件
  • 在本地解压缩文件
  • 将未压缩文件和文件夹架构上载到云存储gsutil -m cp -r ./local-dir gs://myBucket
  • 删除VM

• 如果解压缩文件是一个周期性任务(例如，每周一次)，
  • 创建一个云构建管道，使用一个步骤执行与VM完全相同的操作(安装zip、下载zip文件、解压缩和发回未压缩的文件)。
  • 用云调度器定期调度云构建管道
  • 云构建是无服务器的，您可以使用1000 of本地存储器。

diskSizeGb:使用diskSizeGb选项为您的构建请求一个自定义磁盘大小。您可以请求的最大大小是1000 GB。