使用pandas处理列中的缺失值

Question

我正在使用Auto MPG数据集，它以?字符的形式在column/attribute horsepower中包含缺少的值。

所以当我使用代码的时候-

data.isnull.values.any()

或

data["horsepower"].isnull.values.any()

这两个代码都返回False，因为这些代码适用于NaN值或空值。

如何找到包含特殊字符的缺失值，在我的例子中，这些字符恰好是?而不是传统的NaN值。

谢谢!

Answer 1

您需要先将?转换为NaN。然后，您可以在其中查找空值。

1)将?转换为NaN：

data.replace('?',np.NaN)

2)查找空值：

pd.isna(data['horsepower'])

它将返回带有一系列True/False的dataframe。

Answer 2

在检查NaN之前使用replace：

data["horsepower"].replace('?',np.nan).isnull().values.any()

如果DataFrame是由read_csv创建的，则添加参数na_values以将?转换为NaNs：

data = pd.read_csv(path, na_values=["?"])
data["horsepower"].isnull().values.any()

Answer 3

您可以将na_values定义为?，也可以使用以下命令：

df.replace(r'[\W]',np.nan,regex=True)

\W将查找不是字母、数字或下划线字符的任何字符。