std::bad_alloc的流量服务失败

Question

我试图使用docker组合(服务模型+微服务)运行tensorflow服务，但是tensorflow服务容器失败，错误出现在下面，然后重新启动。

microservice | To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
tensorflow-serving      | terminate called after throwing an instance of 'std::bad_alloc'
tensorflow-serving      |   what():  std::bad_alloc
tensorflow-serving | /usr/bin/tf_serving_entrypoint.sh: line 3: 7 Aborted 
(core dumped) tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=${MODEL_NAME} --model_base_path=${MODEL_BASE_PATH}/${MODEL_NAME} "$@"

我监控了内存的使用情况，似乎有足够的内存。我还增加了使用Desktop的资源限制，但仍然会出现相同的错误。每个对模型的请求都相当小，因为微服务正在发送批处理大小为1的标记化文本。有什么想法吗？

Answer 1

我也遇到了同样的问题，这个解决办法对我来说是有效的：

• 卸载和重新安装：
  • tensorflow，tensorflow-gpu等到2.9.0 (并培训和建立了我的模型)
  • docker pull和docker run tensorflow/serving:2.8.0 (这起到了作用，并最终解决了这个问题)。

Answer 2

使用tensorflow/serving:latest时也有相同的错误。基于哈纳菲的回应，我使用了tensorflow/serving:2.8.0，它起了作用。

作为参考，我

sudo docker run -p 8501:8501 --mount type=bind,source= \
[PATH_TO_MODEL_DIRECTORY],target=/models/[MODEL_NAME] \ 
-e MODEL_NAME=[MODEL_NAME] -t tensorflow/serving:2.8.0

Answer 3

TensorFlow和TensorFlow Serving 2.11 (尚未发布)解决了这个问题，并且在TF服务的夜间发布中包含了fix。您可以构建夜间docker映像或使用预编译版本。

此外，TensorFlow 2.9和2.10也修补了这个问题。请参阅这里的公关。[1，2]