尝试删除多级索引中与索引相关的空值
我正在尝试删除"Data“列中包含空值的所有in (索引级别1)。
作为示例,我在下面创建了一个示例数据帧:
import pandas as pd
import numpy as np
ids = ['0', '0', '0', '0', '0', '1','1','1','1','1','2','2','2','2','2','3','3','3','3','3']
dates = ['1/1/21', '1/2/21', '1/3/21', '1/4/21', '1/5/21','1/1/21', '1/2/21', '1/3/21', '1/4/21', '1/5/21','1/1/21', '1/2/21', '1/3/21', '1/4/21', '1/5/21','1/1/21', '1/2/21', '1/3/21', '1/4/21', '1/5/21']
data = [np.nan, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, np.nan, 16, 17, 18, 19]
df = pd.DataFrame(data=data, index=[ids,dates], columns=['Data'])我希望清理数据帧,以便有效地仅返回ID为1或2的行,因为对于索引的第二级中的任何日期,只有这些ID没有空值。
我尝试过df.dropna(subset=['Data'], inplace=True),但它只删除空值的行,而不是整个索引。
如果Pandas Dataframe中的任何行有空值,那么删除与索引相关的所有行的最佳方法是什么?
发布于 2021-01-28 04:37:35
识别具有任何NaN的andex,并过滤掉相反的has
df.groupby(level=0).filter(lambda x:~(x.isna().any()))正如@sammywemmy所建议的,还可以使用x.notna().all()过滤没有NaNs的组。下面的代码;
df.groupby(level=0).filter(lambda x: (x.notna().all()))
Data
1 1/1/21 5.0
1/2/21 6.0
1/3/21 7.0
1/4/21 8.0
1/5/21 9.0
2 1/1/21 10.0
1/2/21 11.0
1/3/21 12.0
1/4/21 13.0
1/5/21 14.0发布于 2021-01-28 05:15:47
我也可以使用df.loc[~df.index.get_level_values(0).isin(df.loc[df['Data'].isna()].index.get_level_values(0))],但那不是pythonic那么简单。
https://stackoverflow.com/questions/65926917
复制相似问题