首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >按多列分组和丢失数据时循环遍历Pandas的groupby输出

问按多列分组和丢失数据时循环遍历Pandas的groupby输出
EN

Stack Overflow用户
提问于 2020-05-27 11:19:18
回答 2查看 2.3K关注 0票数 0

按缺少数据的多列分组:

代码语言:javascript
复制
data = [['Falcon', 'Captive', 390], ['Falcon', None, 350],
        ['Parrot', 'Captive', 30], ['Parrot', 'Wild', 20]]
df = pd.DataFrame(data, columns = ['Animal', 'Type', 'Max Speed'])

我理解在按单个列(具有NaN (缺失)值的groupby列)分组时如何处理丢失的数据,但不理解按两列分组时的行为。

似乎我无法对所有的群体进行循环,即使他们似乎已经确定了:

代码语言:javascript
复制
groupeddf = df.groupby(['Animal', 'Type'])
counter = 0
for group in groupeddf:
    counter = counter + 1
print(counter)
len(groupeddf.groups)

结果在3和4,这是不一致的。

熊猫版本1.0.3

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-05-27 11:50:37

在关于具有NaN (缺失)值的groupby列的帖子中,有一句话: GroupBy中的NA组被自动排除。

显然,在按多个列分组的情况下,如果分组键的任何级别都包含NaN,也会发生同样的情况。

要确认这一点,请运行:

代码语言:javascript
复制
for key, grp in groupeddf:
    print(f'\nGroup: {key}\n{grp}')

其结果是:

代码语言:javascript
复制
Group: ('Falcon', 'Captive')
   Animal     Type  Max Speed
0  Falcon  Captive        390

Group: ('Parrot', 'Captive')
   Animal     Type  Max Speed
2  Parrot  Captive         30

Group: ('Parrot', 'Wild')
   Animal  Type  Max Speed
3  Parrot  Wild         20

但是,如果您执行groupeddf.groups (打印内容),您将得到:

代码语言:javascript
复制
{('Falcon', 'Captive'): Int64Index([0], dtype='int64'),
 ('Falcon', nan): Int64Index([1], dtype='int64'),
 ('Parrot', 'Captive'): Int64Index([2], dtype='int64'),
 ('Parrot', 'Wild'): Int64Index([3], dtype='int64')}

所以我们有一个组('Falcon',nan),包含索引1的行。

如果您想处理所有的组,而不需要使用任何技巧将NaN转换为其他东西,请运行如下所示:

代码语言:javascript
复制
for key in groupeddf.groups:
    print(f'\nGroup: {key}\n{df.loc[groupeddf.groups[key]]}')

这一次,打印输出还将包含以前丢失的组。

票数 1
EN

Stack Overflow用户

发布于 2020-05-27 11:41:01

要遍历熊猫1.0中的所有组,您需要将NoneType对象转换为字符串。

代码语言:javascript
复制
df = df.astype(str) # or just df['Type'] = df['Type'].astype(str) 

然后您将得到您的循环的四次迭代。

根据文档

NA和NaT组处理 如果分组键中有任何NaN或NaT值,这些值将自动排除。换句话说,永远不会有“NA组”或“NaT组”。在较早版本的熊猫中,情况并非如此,但用户通常都在抛弃NA组(支持它是一个令人头疼的实现问题)。

或者你可以升级到开发熊猫1.1,在这里dropna=False

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62041850

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档