首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Pandas.DataFrame.GroupBy.agg,聚合函数中需要的独立列。如何让它进入agg?

问Pandas.DataFrame.GroupBy.agg,聚合函数中需要的独立列。如何让它进入agg?
EN

Stack Overflow用户
提问于 2020-04-29 18:54:33
回答 1查看 42关注 0票数 0

我有一个带有两级MultiIndex的Pandas DataFrame对象。此外,它显然包含许多额外的列(例如'A','B','C','D','E')。我想对DataFrame中的单个多索引执行一些聚合函数,这些索引来自可用列的子集(例如,'C','D','E')中的每个单独列。为此,我只选择了列的子集,使用GroupBy按levels=[0,1]对这样划分的数据帧进行分组,并使用字典执行agg,为提到的子集中的每个选定列配置聚合函数。

代码语言:javascript
复制
df[['C', 'D', 'E']].groupby(level=[0, 1]).agg({'C': aggfunc, 'D': aggfunc, 'E': aggfunc})

我现在的问题是,除了传递给聚合函数的当前聚合列之外,我还需要第二个列,例如聚合函数中的“b”。所以它基本上是两列的聚合,其中一列是'C','D','E‘加上'B’。

我能做的就是用一个知道'B‘的闭包替换aggfunc。这是唯一的办法吗?或者,有没有办法告诉Pandas除了'C','D','E‘之外,还要把'B’传递给聚合函数?

示例notebook

我已经创建了一个Jupyter Notebook来生成示例数据。在本例中,您可以看到组成MultiIndex的列serial和turn,以及列milage,这是我在聚合函数中除了m1到m4列之外还需要的独立列。因此,在函数中,我需要m<n> (当前正在处理的那个)加上milage。因为milage也是一个浮点值,所以我不能将它用作索引。

笔记本可以在这里找到:https://github.com/HWiese1980/public_notebooks/blob/master/example.ipynb

EN

回答 1

Stack Overflow用户

发布于 2020-04-29 20:47:16

问题是agg函数'see'只处理列,而不是其他列。

因此,这是可能的,但不是高性能的,因为每个组都需要过滤:

代码语言:javascript
复制
np.random.seed(2020)
cols = ["serial", "turn", "milage", "m1", "m2", "m3", "m4"]
df = pd.DataFrame(columns=cols).set_index("serial", "turn")

serials = ["11111", "11222", "12345"]

data = []
end = 0.0
for s in serials:
    for t in range(np.random.randint(6)):
        start = end + np.random.rand() * 1000.
        end = start + np.random.rand() * 1000.
        run_point_count = np.random.randint(high=10, low=5)
        milages = np.linspace(start, end, run_point_count)
        for entry in range(run_point_count):
            d = np.hstack((np.array([s, t]), [milages[entry]], np.random.rand(4)))
            _df = {}
            for i, c in enumerate(cols): 
                _df[c] = d[i]
            data.append(_df)

df_out = df.append(data, ignore_index=True, sort=True).set_index(["serial", "turn"])
df_out = df_out.astype(float)
#print (df_out)

代码语言:javascript
复制
def aggfunc(x):
    return x.sum() + df_out.loc[x.index, "milage"].mean()

#need unique MultiIndex
df_out = df_out.set_index(df_out.groupby(level=[0, 1]).cumcount(), append=True)
df = (df_out.groupby(level=[0, 1])
           .agg({'m1': aggfunc, 'm2': aggfunc, 'm3': aggfunc, 'm4': aggfunc}))
print (df)
                      m1           m2           m3           m4
serial turn                                                    
12345  0      735.612167   734.425345   733.988098   736.534878
       1     1763.739719  1762.587273  1763.196721  1763.929828
       2     2582.773092  2583.585509  2582.582403  2582.121202

第二种解决方案是将列转换为FloatIndex

代码语言:javascript
复制
def aggfunc(x):
    return x.sum() + np.mean(x.index.get_level_values(3))


df = (df_out.set_index('milage', append=True)
           .groupby(level=[0, 1])
           .agg({'m1': aggfunc, 'm2': aggfunc, 'm3': aggfunc, 'm4': aggfunc}))
print (df)
                      m1           m2           m3           m4
serial turn                                                    
12345  0      735.612167   734.425345   733.988098   736.534878
       1     1763.739719  1762.587273  1763.196721  1763.929828
       2     2582.773092  2583.585509  2582.582403  2582.121202

编辑:

如果可能,使用一些函数来处理DataFrame所有列,使用GroupBy.apply

代码语言:javascript
复制
def f(x):
       return x[['m1','m2','m3','m4']].sum() + x['milage'].mean()

df = df_out.groupby(level=[0, 1]).apply(f)
print (df)
                      m1           m2           m3           m4
serial turn                                                    
12345  0      735.612167   734.425345   733.988098   736.534878
       1     1763.739719  1762.587273  1763.196721  1763.929828
       2     2582.773092  2583.585509  2582.582403  2582.121202
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61500119

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档