如何在不同的芹菜作业工人中共享tensorflow模型

Question

我正在做一些NLP工作，还有一些模型是由Tensorflow培训的。我提供了一些API来使用这些模型来完成word裁剪，并通过芹菜发送请求。

具体情况如下：

芹菜将把任务分派给不同的工人(大约4-5人)，因此每个工人必须加载上述模型，因此内存将被占用很多。

，那么，有什么方法在工人之间分享模型吗？，我不知道芹菜工人的潜在机制。

谢谢

Answer 1

您可以看看Tensorflow服务，它作为gRPC API服务于您的模型。它支持分批，这听起来像是你想要做的事情。如果你真的出于某种原因需要芹菜(比如在后台运行这些任务)，你可以从芹菜任务中调用Tensorflow服务API。