如何使用python打开大文件(9 9gb)？

Question

我需要分析数据，但文件是9 9Gb。当我试图打开它时，Python被中断并返回MemoryError。

data = pd.read_csv("path.csv")有没有办法解决这个问题，或者我应该删除这个文件？

Answer 1

正如EdChum所提到的，我使用chunksize=n以块的形式打开大文件，然后遍历这些块来执行您需要的任何操作。指定您希望在每个“块”数据中的行数，并按如下方式打开：

chunks = 100000
data = pd.read_csv("path.csv", chunksize=chunks)
for chunk in data:
    print "something"

希望这能有所帮助:)