按缺少数据的多列分组:
data = [['Falcon', 'Captive', 390], ['Falcon', None, 350],
['Parrot', 'Captive', 30], ['Parrot', 'Wild', 20]]
df = pd.DataFrame(data, columns = ['Animal', 'Type', 'Max Speed'])我理解在按单个列(具有NaN (缺失)值的groupby列)分组时如何处理丢失的数据,但不理解按两列分组时的行为。
似乎我无法对所有的群体进行循环,即使他们似乎已经确定了:
groupeddf = df.groupby(['Animal', 'Type'])
counter = 0
for group in groupeddf:
counter = counter + 1
print(counter)
len(groupeddf.groups)结果在3和4,这是不一致的。
熊猫版本1.0.3
发布于 2020-05-27 11:50:37
在关于具有NaN (缺失)值的groupby列的帖子中,有一句话: GroupBy中的NA组被自动排除。
显然,在按多个列分组的情况下,如果分组键的任何级别都包含NaN,也会发生同样的情况。
要确认这一点,请运行:
for key, grp in groupeddf:
print(f'\nGroup: {key}\n{grp}')其结果是:
Group: ('Falcon', 'Captive')
Animal Type Max Speed
0 Falcon Captive 390
Group: ('Parrot', 'Captive')
Animal Type Max Speed
2 Parrot Captive 30
Group: ('Parrot', 'Wild')
Animal Type Max Speed
3 Parrot Wild 20但是,如果您执行groupeddf.groups (打印内容),您将得到:
{('Falcon', 'Captive'): Int64Index([0], dtype='int64'),
('Falcon', nan): Int64Index([1], dtype='int64'),
('Parrot', 'Captive'): Int64Index([2], dtype='int64'),
('Parrot', 'Wild'): Int64Index([3], dtype='int64')}所以我们有一个组('Falcon',nan),包含索引1的行。
如果您想处理所有的组,而不需要使用任何技巧将NaN转换为其他东西,请运行如下所示:
for key in groupeddf.groups:
print(f'\nGroup: {key}\n{df.loc[groupeddf.groups[key]]}')这一次,打印输出还将包含以前丢失的组。
发布于 2020-05-27 11:41:01
要遍历熊猫1.0中的所有组,您需要将NoneType对象转换为字符串。
df = df.astype(str) # or just df['Type'] = df['Type'].astype(str) 然后您将得到您的循环的四次迭代。
根据文档
NA和NaT组处理 如果分组键中有任何NaN或NaT值,这些值将自动排除。换句话说,永远不会有“NA组”或“NaT组”。在较早版本的熊猫中,情况并非如此,但用户通常都在抛弃NA组(支持它是一个令人头疼的实现问题)。
或者你可以升级到开发熊猫1.1,在这里dropna=False
https://stackoverflow.com/questions/62041850
复制相似问题