在Pandas中查找不适合日期时间格式的行

Question

如果这个问题已经被问过了，很抱歉。我想会的，但我一直没能找到答案。我想要将pandas dataframe中的列转换为日期时间格式。

import pandas as pd 
df['DateOfBirth'] = pd.to_datetime(df['DateOfBirth'], format='%Y-%m-%d')

显然，有些行还包含其他字符

ValueError: time data 0000-00-00 doesn't match format specified

现在df非常大，所以对所有唯一值的视觉检查都不起作用(我也想了解一下如何在不查看所有值的情况下进行检查)。我想找出所有不符合指定格式的唯一值，这样我就可以清理它们。有什么想法吗？

Answer 1

将to_datetime与errors='coerce'一起使用，因此错误的格式会生成缺失值，然后过滤原始值并通过DataFrame.loc和Series.unique转换为唯一列表

m = pd.to_datetime(df['DateOfBirth'], format='%Y-%m-%d', errors='coerce').isna()

print (df.loc[m, 'DateOfBirth'].unique().tolist())