如果特定列仅包含多索引数据帧ID的NaAs，则删除该ID

Question

我有一个类似于此的多索引数据帧(但有超过20k行和大约100列)：

         x1  x2  x3
Time ID
1    1   1   2   NaN
2    1   1   2   3
1    2   1   2   NaN
2    2   1   2   NaN

我想删除所有ID，这些ID的列x3只包含NaN，但保留可能包含NaN但也有一些实际值的ID。对于上面的例子，我想要的输出是：

         x1  x2  x3
Time ID
1    1   1   2   NaN
2    1   1   2   3

Answer 1

你想在groupby上使用any

df[df.x3.notnull().groupby('ID').transform('any')]

输出：

         x1  x2   x3
Time ID             
1    1    1   2  NaN
2    1    1   2  3.0

Answer 2

我们可以用isin做dropna

df=df.loc[df.index.get_level_values(1).isin(df.dropna().index.get_level_values(1))]
Out[71]: 
         x1  x2   x3
Time ID             
1    1    1   2  NaN
2    1    1   2  3.0