Python -数据清理

Question

我有一个数据帧，它有一个形状(42538, 145)，其中有超过50列，其中所有行都有一个NaN值。

​

​

我想删除这些列，而不是在df.drop中指定每个列的名称。

Answer 1

您可能希望从df.notnull开始，以获取所有非NaNs的位置。

然后，您可以对结果使用df.any，并将axis设置为0，以检查所有列是否包含not- all -NaNness。

生成的布尔序列可用于索引您的列：Pandas Select DataFrame columns using boolean。有几个不同的选项：

df = df.iloc[:, df.notnull().any(axis=0).values]

​

sel = df.notnull().any(axis=0)
df = df[sel.index[sel]]

Answer 2

您可以在axis=1上使用pd.DataFrame.dropna

df = pd.DataFrame({'A': [1, 2, 3], 'B': [np.nan]*3,
                   'C': [4, 5, 6], 'D': [np.nan]*3})

df_new = df.dropna(axis=1)

print(df_new)

   A  C
0  1  4
1  2  5
2  3  6

Answer 3

试试这个：

tmp_col = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21]
df1.columns = tmp_col

df2 = df1[(df1[2] == 'RO En') | (df1[2] == 'RO En Adj')]
df2[['bp1','bp2']] = df2[6].str.split('-',expand=True)
df2[['mn1','mn2']] = df2[11].str.split(' ',expand=True)

df2['FN'] = df2[10] + ' ' + df2[11]


df2.loc[df2[2] == 'RO ', 'RT'] = ''
df2.loc[df2[2] == 'RO ', ''] = ''
df2.loc[df2[2] == 'RO ', ''] = df2['bp1']
df2.loc[df2[2] == 'RO ', ''] = df2[12]


df3 = df2[df2[8].str.contains('')]
df4 = df2[df2[8].str.contains(')]

print(df3,df4)

pm_col = []

df3 = df3[[10,11,'BP',16,15,15,17,15,'RT',14,21,19,'FN','mn2']]

df3.columns = pm_col

df4 = df4[[10,11,'BP',16,15,15,17,15,'RT',14,21,19,'FN','mn2']]
df4.columns = pm_col