如何膨胀google云存储上的大型压缩文件？

Question

我正在谷歌云上实现一个无服务器项目。用户将在云存储桶上上传4GB大小的压缩文件。(上传之前，用户自己压缩文件)在处理内容之前，需要解压缩。

我为小文件找到了一些解决方案：

1. 将zip文件从存储桶下载到云函数
2. 解压缩函数
3. 将解压缩的文件上载到存储桶

在这里，按函数下载的文件存储在分配给该函数的内存空间中。但是，云功能的最大内存是2GB，对我来说太小了。

在最坏的情况下，我将需要使用VM，但这将是昂贵的。

还有别的办法吗？首选语言是python。

Answer 1

节点的解决方案如下所示：

1. 使用@google云/存储库从存储中的zip文件到创建读取流
2. 将该流输送到像解压流这样的模块，这意味着您可以将压缩的文件作为流处理。
3. 对于zip中的每个条目，使用Cloud对存储中的新文件进行创建写入流，并将输入流从解压缩流输送到新的输出流。

为了实现这一点，您可能需要很好地理解节点流。

由于这一切都是通过管道流(而不是一次将所有内容读取到内存中)发生的，所以应该使用最小内存。