Performance One热编码

Question

我有一个很大的数据集(10 to )，并且我必须执行一个热编码(OHE)。在数据准备中，OHE是瓶颈，耗时太长。

我使用的是这个库：category encoders

from category_encoders.one_hot import OneHotEncoder

OneHotEncoder().fit_transform(df)

因为数据帧的小样本已经花费了太长的时间。

我怎样才能加快这个过程？也许可以将其并行化？另一种方式呢？

Answer 1

我会使用一个定制函数或相同的函数，并并行运行它。这可以通过多处理库来实现。假设您的函数是'My_Fun‘，它获取条目数量作为输入，并返回一个热编码，您可以运行以下代码行：

import multiprocessing
inputs = range(sample_size)
num_cores = multiprocessing.cpu_count()
print("number of available cores:", num_cores)
results = Parallel(n_jobs=num_cores)(delayed(My_Fun)(i) for i in inputs)