pandas DataFrame上的多进程处理

Question

我在Dataframe列上应用了一个函数，但我想让它更快，因为该函数在串行完成时需要大量的处理时间。

df[df['codes']=='None']['q'][:1].apply(lambda x: clf(x,candidate_labels))

串行地，单行只占用2.52 secs来运行，但是当使用多进程运行下面的代码时，它需要更长的时间，51.61 secs，我有关于2500 rows的处理，所以它将花费很多时间来运行函数。我希望至少能加快20%的速度。

import multiprocessing
import pandas as pd
import numpy as np

def clf(x):
    ...
    return list
def _apply_df(args):
    df, func, kwargs = args
    return df.apply(func, **kwargs)

def apply_by_multiprocessing(df, func, **kwargs):
    workers = kwargs.pop('workers')
    pool = multiprocessing.Pool(processes=workers)
    result = pool.map(_apply_df, [(d, func, kwargs)
            for d in np.array_split(df, workers)])
    pool.close()
    return pd.concat(list(result))
    
if __name__ == '__main__':
    tart_time = time.time()
    res=apply_by_multiprocessing(df[df['codes']=='None']['q'][:1],clf, workers=4)  
    print(res)
    print("--- %s seconds ---" % (time.time() - start_time))
    ## run by 4 processors

我还尝试了多处理的不同迭代，但似乎没有一个能加快流程，因为它们减慢了我的代码。

from pandarallel import pandarallel
import time
pandarallel.initialize(progress_bar=True)

start_time = time.time()
categories = df[df['codes']=='None']['q'][:10].parallel_apply(lambda x: clf(x,candidate_labels))
print("--- %s seconds ---" % (time.time() - start_time))

另一个实验：

import multiprocessing as mp

def clf:
    ...
    return list

if __name__ == '__main__':
    p = mp.Pool(processes=8)
    pool_results = p.map(clf, df[df['codes']=='None']['q'][:1])
    p.close()
    p.join()

Answer 1

也许你可以使用这个：https://github.com/xieqihui/pandas-multiprocess

pip install pandas-multiprocess

from pandas_multiprocess import multi_process


args = {'workers': 4}
result = multi_process(func=clf, data=df, num_process=8, **args)