如何使用s3fs处理大文件？

Question

我正在研究AWS电子病历集群。我有关于我的S3存储器的数据。清理数据后，我将通过S3库再次发送到我的s3fs存储。该代码适用于大小在200到500 mb之间的文件。然而，当我上传2.0到2.5GB的大小。代码给出了一个错误，即"MemoryError“。你们对这个问题有什么想法或经验吗？

import s3fs
bytes_to_write = nyc_green_20161.to_csv(None).encode()
fs = s3fs.S3FileSystem(key='#', secret='#')
with fs.open('s3://ludditiesnyctaxi/new/2016/yellow/yellow_1.csv', 'wb') as f:
f.write(bytes_to_write)

Answer 1

我处理这个问题是为了分割我的csv文件。本文解释了如何分割csv文件splitting one csv into multiple files in python。