如何在通过pandas分块处理数据时聚合分析？

Question

我正在通过pandas加载一个文件，以便分块处理：

import pandas as pd
import numpy as np

f= open("analysis.txt","a+")

chunksize = 10 ** 6
for chunk in pd.read_csv('filename.txt', sep='\t', lineterminator='\r', chunksize=chunksize):
    my_tab = pd.crosstab(index=chunk["Year"], columns=chunk["Indicator"])

my_tab提供了当前块的年份和指示符列的数据帧。有没有一种方法可以聚合所有这些数据帧，以便在处理完所有数据后，我可以看到整个数据文件的最终分析？

Answer 1

简单的例子：

import pandas as pd
df = pd.DataFrame({'type':['fruit','vegi','fruit','meat','vegi','meat','fruit'],
                'ori':['us','cn','cn','nz','nz','us','cn'],
               'num':[5,5,9,3,2,10,8],
               'price':[5,5,10,3,3,13,20]})
df1 = df.iloc[0:2]
df2 = df.iloc[2:4]
df3 = df.iloc[4:7] # chunk
a = pd.crosstab(df1['type'], df1['ori'])
b = pd.crosstab(df2['type'], df2['ori'])
c = pd.crosstab(df3['type'], df3['ori']) # crosstab of chunks

使用reduce让生活变得更轻松：

from functools import reduce
reduce(lambda df1, df2:df1.add(df2, fill_value=0) ,[a, b, c])

结果：

ori     cn  nz  us   
type             
fruit   2.0 0.0 1.0  
meat    0.0 1.0 1.0  
vegi    1.0 1.0 0.0  

这应该与以下内容几乎相同：

pd.crosstab(df['type'], df['ori'])