DeepPavlov elmo太慢了

Question

我尝试使用DeepPavlov库中的ELMO embeddings (ElmoEmbedder)。它的运行速度非常慢，每100句话64秒。

我试着增加mini_batch_size，但它没有加速算法。

有没有可能提高ElmoEmbedder的速度？

Answer 1

只有当你在图形处理器上运行模型时，mini_batch_size才会对性能产生重大影响。

如果你没有图形处理器，试着使用Google Colab。它为您提供免费访问GPU和TPU。

!pip install deeppavlov

from deeppavlov.deep import find_config
from deeppavlov.core.commands.infer import build_model
config_path = find_config('elmo_ru-wiki')
model = build_model(config_path, load_trained = True, download = True)
a = model(data)

别忘了在Edit->Notebook settings->Hardware accelerator中启用图形处理器