谷歌云vm在提取.7z文件时停止或冻结

Question

最近，我正在与谷歌云计算引擎合作，以训练一个ml模型，所以我正在尝试提取一个具有数据的.7z fike。但是它太大了，机器甚至会因为找不到错误而冻结或停止。

我正在使用下面的Linux命令：

!7zr 'path of the file'

任何能解压文件的帮助...提前感谢

Answer 1

您可以使用GCS进行尝试。

创建一个只包含压缩文件而不包含其他文件的目录。

您的目录/myfile.7z

创建环境变量MYFILE=myfile.7z

使用gsutil cli在GCS上创建存储桶：

gsutil mb gs://yourbucket/MY_DIR_FOR_ZIP_FILE

接下来，将文件上传到存储桶，如下所示

gsutil cp -m -v $MYFILE gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE

在虚拟机中，您现在可以再次使用gsutil cli下载该文件

gsutil cp -m -v gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE   /YOU_DIR

然后解压并移除压缩文件，

7z x $MYFILE && rm -v $MYFILE

现在，虚拟机上应该有未压缩的文件

确保使用-m标志，这将执行并行(多线程/多处理)复制。

下面是参考cp - Copy files and objects

Using the gsutil tool

上面的说明假设您的数据大小小于1TB，并且您使用的VM的磁盘大小足以容纳数据。

如果您的数据超过1TB，则需要使用Transfer service for on-premises data。

此处列出了设置传输作业时要遵循的步骤Creating a transfer job