使用pandas查找重复项时结果不一致

Question

我有一个数据集，并希望删除重复的记录。

当我运行len(df[df.duplicated()])时，我得到1633作为输出。

当我运行下面的命令来获取重复记录的列表时，我得到了3230行的不同输出

dupdf1 = df[df.duplicated(keep=False)].sort_values(["customer_id","product_id"])

当我使用子集运行下面的命令来获取重复记录的列表时，我得到了3298行的不同输出

dupdf2 = df[df.duplicated(subset=["customer_id","product_id","price"],keep=False)].sort_values(["customer_id","product_id"])

数据集中存在重复项，但也存在仅价格列值不同的情况，不应排除这些情况。

重复记录示例

​

价格字段具有不同值的记录示例。

​

如何删除所有字段值都重复的重复项？

Answer 1

我终于明白了为什么在导出重复列表时会出现不一致的情况。我添加了keep=False选项，它可以导出所有重复的记录，如下所示。

1. duplicates=df[df.duplicated()]：这将仅在

的重复值中导出

1. dupdf = df[df.duplicated(keep= False)]：这将导出

中所有重复的值

​

​