问从S3读取压缩文件，而无需下载整个文件
EN

Stack Overflow用户

提问于 2018-07-16 02:23:19

回答 0查看 7.2K关注 0票数 14

我们有5-10 We大小的ZIP文件。典型的ZIP文件有5-10个内部文件，每个文件都有1-5 GB的未压缩文件。

我有一套不错的Python工具来读取这些文件。基本上，我可以打开一个文件名，如果有ZIP文件，工具会在ZIP文件中搜索，然后打开压缩文件。这一切都是相当透明的。

我想将这些文件作为压缩文件存储在亚马逊S3中。我可以获取S3文件的范围，所以应该可以获取ZIP中心目录(它是文件的末尾，所以我可以只读取最后的64KiB)，找到我想要的组件，下载它，然后直接流到调用进程。

所以我的问题是，我如何通过标准的Python ZipFile API来做到这一点？没有说明如何将文件系统传输替换为支持POSIX语义的任意对象。在不重写模块的情况下，这是可能的吗？

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51351000

复制

相似问题

问从S3读取压缩文件，而无需下载整个文件EN