熊猫数据帧分类过滤的最快方法

Question

我有一个非常大的数据框架，有1亿行和分类列。我想知道按类别选择行的速度是否比使用.isin()方法或.join()方法所提到的here更快。

考虑到数据已经被分类了，我认为选择类别应该是非常快的，但是我运行的一些测试的性能令人失望。我发现的唯一其他解决方案是来自here，但这个解决方案似乎对熊猫不起作用。

这里是一个示例数据集。

import pandas as pd
import random
import string
df = pd.DataFrame({'categories': [random.choice(string.ascii_letters) 
                                  for _ in range(1000000)]*100,
                   'values': [random.choice([0,1]) 
                              for _ in range(1000000)]*100})
df['categories'] = df['categories'].astype('category')

用.isin()进行测试

%timeit df[df['categories'].isin(list(string.ascii_lowercase))]
44 s ± 894 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

使用.join()

%timeit df.set_index('categories').join(
    pd.Series(index=list(string.ascii_lowercase), name='temp'), 
    how='inner').rename_axis('categories').reset_index().drop('temp', 1)
24.7 s ± 1.69 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

Answer 1

这里有一种类似但不同的方法，它直接比较值，而不是使用isin。

基本map / lambda比较：

%timeit df[df['categories'].map(lambda x: x in string.ascii_lowercase)]
> 1 loop, best of 3: 12.3 s per loop

使用isin

%timeit df[df['categories'].isin(list(string.ascii_lowercase))]
> 1 loop, best of 3: 55.1 s per loop

版本：Py 3.5.1 / IPython 5.1.0 / Pandas 0.20.3

后台：我注意到您在one of the SO posts中链接到一个评论者提到，isin需要在执行过程中创建一个set()，所以跳过这个步骤并进行基本的列表查找似乎是这里的加速。

不像我经常处理的那种规模，所以可能会有更快的选择。

编辑: JohnGalt:评论中的额外细节

df.shape
> (100000000, 2)
df.dtypes
> categories    category
 values           int64
 dtype: object

为了创建示例数据，我从初始问题复制/粘贴了示例DF。使用MBP，2015年初的型号。

Answer 2

这里是一个运行在1/10的样本。Groupby很自然地利用了这种分类。目前，df.loc[list_of_items]对分类的实现并不是很有效，但可以在幕后加以利用。

In [68]: %timeit -n 3 -r 1 df[df['categories'].isin(list(string.ascii_lowercase))]
3.67 s +- 0 ns per loop (mean +- std. dev. of 1 run, 3 loops each)

In [69]: s = set(list(string.ascii_lowercase))

In [70]: %timeit -n 3 -r 1 df.groupby('categories', as_index=False).filter(lambda x: x.name in s)
1.09 s +- 0 ns per loop (mean +- std. dev. of 1 run, 3 loops each)

In [71]: result2 = df.groupby('categories', as_index=False).filter(lambda x: x.name in s)

In [72]: result1 = df[df['categories'].isin(list(string.ascii_lowercase))]
result1.equals

In [73]: result1.equals(result2)
Out[73]: True