加载经过训练的Rasa NLU模型需要更多时间

Question

我已经使用以下配置训练了RASA NLU模型

language: en
pipeline:
- name: "pretrained_embeddings_convert"

此配置默认为组件列表，

language: "en"

pipeline:
- name: "SpacyNLP"
- name: "SpacyTokenizer"
- name: "SpacyFeaturizer"
- name: "RegexFeaturizer"
- name: "CRFEntityExtractor"
- name: "EntitySynonymMapper"
- name: "SklearnIntentClassifier"

此外，我还尝试了所有其他现成的配置，如supervised_embeddings and pretrained_embeddings_spacy和自定义配置。所有这些都需要6到9秒的加载时间来实例化训练器对象。类似地，当我试图加载持久化模型进行推理时，

interpreter = Interpreter.load('../path_to_trained_model')

同样，加载它几乎需要6~9秒的时间。有没有什么办法可以减轻这种情况？还是我做错了什么？因为我想按需提供这些模型，这需要更快的加载时间。

Answer 1

supervised_embeddings (参见here)是加载时间最短的管道，因为它不加载任何预先训练好的单词嵌入。

pretained_embeddings_convert和pretrained_embeddings_spacy都在启动时加载word嵌入(分别是ConveRT和spacy嵌入)，它们的大小非常大，因此需要一些时间才能加载。

因此，如果快速加载很重要，我建议使用supervised_embeddings。然而，一旦加载了模型，推断时间就相对较快，因此您只需等待这几秒钟一次。

PS:如果你还没有，请加入我们的社区forum，在那里这样的问题经常被回答