为什么安装了pip的ML模型需要在安装后下载其他东西？

Question

为什么这个声明下载模型？为什么当我用pip3 install keybert安装软件包时它没有被下载呢？我怎样才能预加载到码头映像，使它不会被下载的每一次？

from keybert import KeyBERT
kw_model = KeyBERT()

现在，我的dockerfile执行以下操作：

RUN pip install --user -r requirements.txt

requirements.txt：

google-cloud-pubsub==2.8.0
google-cloud-logging==2.6.0
requests==2.28.0
keybert==0.5.1

Answer 1

一个潜在的解决方案是

1. 在本地计算机上运行此代码以将模型副本保存到本地目录。例如，保存到一个目录"keybert"

from keybert import KeyBERT
kw_model = KeyBERT()
kw_model.model.embedding_model.save("keybert")

1. 使用Dockerfile

中的COPY命令将模型的本地副本添加到Docker映像中

# Copy local code to the container image.
COPY ./keybert/ ./keybert/

在运行在Docker容器中的脚本中的

1. 中，从

目录加载模型

from keybert import KeyBERT
new_kw_model = KeyBERT("./keybert")

此行为的原因是KeyBERT使用其他SBERT模型，并且您可以将KeyBERT与多个模型一起使用：https://maartengr.github.io/KeyBERT/guides/embeddings.html。

因此，您可以在Docker映像中添加一份最适合您目的的型号的副本。