如何排查pandas bug/特性？

Question

我有一个熊猫DataFrame，是这样创建的：

import pandas as pd
wb = pd.io.parsers.ExcelFile('/path/to/data.xlsx')
df = wb.parse(wb.sheet_names[0])

生成的dataframe大约有12列，所有列的长度都完全相同(大约150K)。

对于大多数列，以下操作几乎是即时的

aset = set(df.acolumn)

但对于某些列，相同的操作，例如

aset = set(df.weirdcolumn)

耗时> 10分钟！(或者更确切地说，操作在10分钟超时期限到期之前无法完成。)相同数量的元素！

更奇怪的是：

In [106]: set([type(c) for c in df.weirdcolumn])
Out[106]: set([numpy.float64])

In [107]: df.weirdcolumn.value_counts()
Out[107]: []

该列的内容似乎都是nan

In [118]: all(np.isnan(df.weirdcolumn.values))
Out[118]: True

但这并不能解释前面提到的速度减慢，因为以下操作只需要几秒钟：

In [121]: set([np.nan for _ in range(len(data))])
Out[121]: set([nan])

我已经没有办法找出上面提到的大规模放缓的原因。欢迎提出建议。

Answer 1

关于nans的一件奇怪的事情是，它们不是平等的。这意味着“不同的”nan对象将被单独插入到集合中：

>>> float('nan') == float('nan')
False
>>> float('nan') is float('nan')
False
>>> len(set([float('nan') for _ in range(1000)]))
1000

这不会发生在您的np.nan测试中，因为它一遍又一遍是同一个对象：

>>> np.nan == np.nan
False
>>> np.nan is np.nan
True
>>> len(set([np.nan for _ in range(1000)]))
1

这可能就是您的问题所在；您正在创建一个150,000个元素集，其中每个元素都有完全相同的散列(hash(float('nan')) == 0)。这意味着将新的nan插入到已经具有n nan的集合中至少需要O(n)时间，因此构建一组N nan至少需要O(N^2)时间。150k^2 is...big。

所以是啊，保姆太烂了。您可以通过执行以下操作来解决此问题

nan_idx = np.isnan(df.weirdcolumn)
s = set(df.weirdcolumn[~nan_idx])
if np.any(nan_idx):
    s.add(np.nan)