熊猫:寻找重复的栏

Question

我有一个包含不同dtypes的数据文件，如int、float、object、datatime等。我正在执行data cleaning，以列出或查找数据文件中的重复列名。重复标准如下：

1. 相同的列名或
2. 具有相同数据值的列

我试着使用transpose方法df.T.duplicated()来列出重复的列名，但对于大数据格式来说似乎比较慢。

我知道我们可以使用pivot、pivot_table或corr列出重复的列名。

有人能解释如何使用和解释它吗?或者有没有其他方法来做呢？

Answer 1

要在Pandas DataFrame中按名称列出重复列，可以在.columns属性上调用复本方法：

df.columns.duplicated()

这应该是相当快的，除非您的数据中有大量列。

按值查找重复列有点棘手，而且肯定要慢一些。我不会使用任何pivot、pivot_table或corr，因为它们对于大型数据集也很慢。在这三个列中，corr将是检测重复列的最直接的方法--两个相同的列将具有一个相关性。

我发现这个StackOverflow问题包含了一些想法，我认为这个回答就是你想要的。