如何在读取csv pandas之前导入已过滤的行

Question

嗨，我必须上传大量的csv文件在熊猫数据帧。我是否可以在加载之前过滤掉这些csv文件中的数据，这样我就不会出现任何内存错误。

I现有的设置会导致内存错误

我有一个有32个值的列位置，但我只想在导入之前过滤3-4个位置。

这个是可能的吗？

Answer 1

您可以使用csv library逐行读取，只保留所需的记录：

import csv
with open('names.csv', newline='') as csvfile:
     reader = csv.DictReader(csvfile)
     for row in reader:
         print(row['first_name'], row['last_name'])

之后，您可以使用writerow将过滤后的行保存为csv文件