我有一个带有两级MultiIndex的Pandas DataFrame对象。此外,它显然包含许多额外的列(例如'A','B','C','D','E')。我想对DataFrame中的单个多索引执行一些聚合函数,这些索引来自可用列的子集(例如,'C','D','E')中的每个单独列。为此,我只选择了列的子集,使用GroupBy按levels=[0,1]对这样划分的数据帧进行分组,并使用字典执行agg,为提到的子集中的每个选定列配置聚合函数。
df[['C', 'D', 'E']].groupby(level=[0, 1]).agg({'C': aggfunc, 'D': aggfunc, 'E': aggfunc})我现在的问题是,除了传递给聚合函数的当前聚合列之外,我还需要第二个列,例如聚合函数中的“b”。所以它基本上是两列的聚合,其中一列是'C','D','E‘加上'B’。
我能做的就是用一个知道'B‘的闭包替换aggfunc。这是唯一的办法吗?或者,有没有办法告诉Pandas除了'C','D','E‘之外,还要把'B’传递给聚合函数?
示例notebook
我已经创建了一个Jupyter Notebook来生成示例数据。在本例中,您可以看到组成MultiIndex的列serial和turn,以及列milage,这是我在聚合函数中除了m1到m4列之外还需要的独立列。因此,在函数中,我需要m<n> (当前正在处理的那个)加上milage。因为milage也是一个浮点值,所以我不能将它用作索引。
笔记本可以在这里找到:https://github.com/HWiese1980/public_notebooks/blob/master/example.ipynb
发布于 2020-04-29 20:47:16
问题是agg函数'see'只处理列,而不是其他列。
因此,这是可能的,但不是高性能的,因为每个组都需要过滤:
np.random.seed(2020)
cols = ["serial", "turn", "milage", "m1", "m2", "m3", "m4"]
df = pd.DataFrame(columns=cols).set_index("serial", "turn")
serials = ["11111", "11222", "12345"]
data = []
end = 0.0
for s in serials:
for t in range(np.random.randint(6)):
start = end + np.random.rand() * 1000.
end = start + np.random.rand() * 1000.
run_point_count = np.random.randint(high=10, low=5)
milages = np.linspace(start, end, run_point_count)
for entry in range(run_point_count):
d = np.hstack((np.array([s, t]), [milages[entry]], np.random.rand(4)))
_df = {}
for i, c in enumerate(cols):
_df[c] = d[i]
data.append(_df)
df_out = df.append(data, ignore_index=True, sort=True).set_index(["serial", "turn"])
df_out = df_out.astype(float)
#print (df_out)def aggfunc(x):
return x.sum() + df_out.loc[x.index, "milage"].mean()
#need unique MultiIndex
df_out = df_out.set_index(df_out.groupby(level=[0, 1]).cumcount(), append=True)
df = (df_out.groupby(level=[0, 1])
.agg({'m1': aggfunc, 'm2': aggfunc, 'm3': aggfunc, 'm4': aggfunc}))
print (df)
m1 m2 m3 m4
serial turn
12345 0 735.612167 734.425345 733.988098 736.534878
1 1763.739719 1762.587273 1763.196721 1763.929828
2 2582.773092 2583.585509 2582.582403 2582.121202第二种解决方案是将列转换为FloatIndex
def aggfunc(x):
return x.sum() + np.mean(x.index.get_level_values(3))
df = (df_out.set_index('milage', append=True)
.groupby(level=[0, 1])
.agg({'m1': aggfunc, 'm2': aggfunc, 'm3': aggfunc, 'm4': aggfunc}))
print (df)
m1 m2 m3 m4
serial turn
12345 0 735.612167 734.425345 733.988098 736.534878
1 1763.739719 1762.587273 1763.196721 1763.929828
2 2582.773092 2583.585509 2582.582403 2582.121202编辑:
如果可能,使用一些函数来处理DataFrame所有列,使用GroupBy.apply
def f(x):
return x[['m1','m2','m3','m4']].sum() + x['milage'].mean()
df = df_out.groupby(level=[0, 1]).apply(f)
print (df)
m1 m2 m3 m4
serial turn
12345 0 735.612167 734.425345 733.988098 736.534878
1 1763.739719 1762.587273 1763.196721 1763.929828
2 2582.773092 2583.585509 2582.582403 2582.121202https://stackoverflow.com/questions/61500119
复制相似问题