将处理过程中有错误的所有行移到另一个dataframe中？

Question

我使用以下命令将一些字符串转换为datetime：

polly_jun_jul_trans['Imp_Trans_Date'] = pd.to_datetime(polly_jun_jul_trans['Imp_Trans_Date'])
polly_jun_jul_trans['Imposition_Date_of_Hearing'] = pd.to_datetime(polly_jun_jul_trans['Imposition_Date_of_Hearing'])

但是，我的一些值中有错误，如：(‘未知字符串格式：’，'29/06n2018')。

将任何列中出现错误的所有行移动到另一个dataframe (我的意思是将产生第二个命令的错误行连接到第一个命令中的错误行)的最佳方法是什么？

Answer 1

首先，通过pd.Series.isnull找到麻烦行的联合。这意味着，如果两个datetime转换中的任何一个对一行失败，那么该行将给出False；否则为True。

df['col1'] = pd.to_datetime(df['col1'], errors='coerce')
df['col2'] = pd.to_datetime(df['col2'], errors='coerce')

error_bool = df['col1'].isnull() | df['col2'].isnull()

然后使用布尔索引：

main = df[~error_bool].copy()
errors = df[error_bool].copy()

我使用了pd.DataFrame.copy来保证新的数据不再引用包含所有行的原始数据。

Answer 2

关于您最初的问题，涉及如何删除引发错误的行。

您可以使用errors关键字pd.to_datetime()，如下所示：

错误：{“忽略”、“提高”、“胁迫”}、默认“提高” 如果“引发”，则如果“胁迫”，无效解析将引发异常，如果“忽略”，无效解析将设置为NaT，则无效解析将返回输入

您可以使用pd.to_datetime( ____, errors='coerce')，然后使用dropna()。