用于文本分类多类的包装器Ktrain -使用CPU并行化fit

Question

我正在尝试通过利用Ktrain包装器来解决BERT的多类分类问题。由于有大量数据，我想知道是否可以并行化learner.fit_onecycle (3e-4，5)函数或autofit ()函数。

例如，在sklerarn中，可以使用n_jobs参数指定并行作业的数量。

你能帮我吗？谢谢

Answer 1

首先，如果你在ktrain中使用DistilBert而不是BERT，它会将你的训练时间减少一半。其次，在使用CPU调用ktrain中的任何fit方法时，TensorFlow2应该默认使用多核。如果你愿意，你可以使用control the number of CPU cores。