首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Python:检索zip文件和进程的块

问Python:检索zip文件和进程的块
EN

Stack Overflow用户
提问于 2020-04-28 17:43:09
回答 1查看 211关注 0票数 0

我需要解压大的压缩文件(近似。大小约为10 GB),并将其放回S3。我有一个512MB的内存限制。

我尝试了这段代码,并在line: 9上获得了一个MemoryError,它将整个文件内容加载到内存中,因此出现了this内存错误。如何检索压缩文件的一块,解压缩并上传回S3?

代码语言:javascript
复制
import json
import boto3
import io
import zipfile

def lambda_handler(event, context):
    s3_resource = boto3.resource('s3')
    zip_obj = s3_resource.Object(bucket_name="bucket.name", key="test/big.zip")
    buffer = io.BytesIO(zip_obj.get()["Body"].read())
    z = zipfile.ZipFile(buffer)

    for filename in z.namelist():
        s3_resource.meta.client.upload_fileobj(
            z.open(filename),
            Bucket="bucket.name",
            Key=f'{"test/" + filename}'
        )

请让我知道

EN

回答 1

Stack Overflow用户

发布于 2020-04-29 00:50:49

我建议使用Lambda函数在run instance应用程序接口的UserData中使用预定义的脚本启动一个EC2实例,以便您可以在脚本中指定位置file_name等。在该脚本中,您可以从S3下载压缩包,并使用linux命令进行解压缩,然后递归地将整个文件夹上传到S3。

你可以根据你的zip文件大小选择RAM/ROM,post你可以通过相同的脚本停止你的实例。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61477176

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档