我需要解压大的压缩文件(近似。大小约为10 GB),并将其放回S3。我有一个512MB的内存限制。
我尝试了这段代码,并在line: 9上获得了一个MemoryError,它将整个文件内容加载到内存中,因此出现了this内存错误。如何检索压缩文件的一块,解压缩并上传回S3?
import json
import boto3
import io
import zipfile
def lambda_handler(event, context):
s3_resource = boto3.resource('s3')
zip_obj = s3_resource.Object(bucket_name="bucket.name", key="test/big.zip")
buffer = io.BytesIO(zip_obj.get()["Body"].read())
z = zipfile.ZipFile(buffer)
for filename in z.namelist():
s3_resource.meta.client.upload_fileobj(
z.open(filename),
Bucket="bucket.name",
Key=f'{"test/" + filename}'
)请让我知道
发布于 2020-04-29 00:50:49
我建议使用Lambda函数在run instance应用程序接口的UserData中使用预定义的脚本启动一个EC2实例,以便您可以在脚本中指定位置file_name等。在该脚本中,您可以从S3下载压缩包,并使用linux命令进行解压缩,然后递归地将整个文件夹上传到S3。
你可以根据你的zip文件大小选择RAM/ROM,post你可以通过相同的脚本停止你的实例。
https://stackoverflow.com/questions/61477176
复制相似问题