问使用Rest部署模型进行联机推理时节省VM成本
EN

Stack Overflow用户

提问于 2022-06-10 19:21:24

回答 2查看 36关注 0票数 0

在使用Rest部署模型进行在线推理时，可以节省VM成本，ADB允许我们通过REST部署在线推理模型。为此，亚行创建了一个专门为特定模型服务的VM。“数据科学家”可以创建和部署多个测试在线推理的模型，因此，由于这些新创建的VM一直在运行，成本可以迅速增长，而且是无法控制的，也是不必要的。

在一段时间的不活动之后，有可能关闭他们？

发布于 2022-08-02 16:59:39

微软回答我说，在将来的版本中，模型服务将得到改进--使用容器而不是使用虚拟机。

票数 1

发布于 2022-06-23 02:32:24

是的，您可以在Azure-Databricks(作业集群)中启用自动缩放，这将终止除min #以外的所有工作人员(将保持活动)。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/72578959

复制

相似问题

问使用Rest部署模型进行联机推理时节省VM成本EN