我有一个有4列[['a','b','c','d']]的dataframe,我在其中添加了另一个列['total'],其中包含了每一行的所有其他列的和。然后,我添加了另一列['growth of total'],它的增长率为总增长率。
[['a','b','c','d']]中的一些值为空,使['total']列对这些行无效。我可以很容易地用df.dropna(how='any')处理这些行。
但是,我的增长率不仅对[['a','b','c','d']]中缺少值的行无效,对于下一行也是无效的。我该如何丢弃所有这些行?
发布于 2015-11-02 14:58:32
您可以正确地使用notnull和all来屏蔽任何带有NaN的行和NaN行后面的任何行:
In [43]:
df = pd.DataFrame({'a':[0,np.NaN, 2, 3,np.NaN], 'b':[np.NaN, 1,2,3,4], 'c':[0, np.NaN,2,3,4]})
df
Out[43]:
a b c
0 0 NaN 0
1 NaN 1 NaN
2 2 2 2
3 3 3 3
4 NaN 4 4
In [44]:
df[df.notnull().all(axis=1) & df.shift().notnull().all(axis=1)]
Out[44]:
a b c
3 3 3 3发布于 2015-11-02 14:56:03
这里有一个选项,我认为可以做到你想要的:
In [76]: df = pd.DataFrame(np.arange(40).reshape(10,4))
In [77]: df.ix[1,2] = np.nan
In [78]: df.ix[6,1] = np.nan
In [79]: df['total'] = df.sum(axis=1, skipna=False)
In [80]: df
Out[80]:
0 1 2 3 total
0 0 1 2 3 6
1 4 5 NaN 7 NaN
2 8 9 10 11 38
3 12 13 14 15 54
4 16 17 18 19 70
5 20 21 22 23 86
6 24 NaN 26 27 NaN
7 28 29 30 31 118
8 32 33 34 35 134
9 36 37 38 39 150
In [81]: df['growth'] = df['total'].iloc[1:] - df['total'].values[:-1]
In [82]: df
Out[82]:
0 1 2 3 total growth
0 0 1 2 3 6 NaN
1 4 5 NaN 7 NaN NaN
2 8 9 10 11 38 NaN
3 12 13 14 15 54 16
4 16 17 18 19 70 16
5 20 21 22 23 86 16
6 24 NaN 26 27 NaN NaN
7 28 29 30 31 118 NaN
8 32 33 34 35 134 16
9 36 37 38 39 150 16https://stackoverflow.com/questions/33480260
复制相似问题