如何使用aws lambda将json文件转换为parquet

Question

s3_obj = s3.Object(s3_bucket, file_prefix)
df= pd.read_json(jsonlines_doc,lines=True)
location=s3_obj.put(Body=json.dumps(jsonlines_doc))
df.to_parquet(location, engine='auto', compression='snappy', index=None)

代码无法工作，但能够保存本地导入的py箭头和拼板。

Answer 1

您是否尝试过先将文件保存到lambda中的/tmp/ available，然后将其复制到您选择的s3桶中。

值得一提的是，每个Lambda执行容器在/tmp目录中提供了512 MB的临时磁盘空间，因此如果您的文件大于此大小，您可能必须使用AWS。