Kubernetes + TF serving -如何使用数百个ML模型，而不运行数百个空闲的pods？

Question

我有数百个模型，基于类别，项目，等等。一些模型被大量使用，而另一些模型不是非常频繁地使用。如何在需要的情况下才触发扩容操作(对于不常用的机型)，而不是在大多数机型不使用的情况下运行数百个pods服务于数百个机型，这是对计算资源的巨大浪费。

Answer 1

您要做的是在不使用它们的情况下将部署扩展到零。

K8s不提供这种开箱即用的功能。

您可以使用Knative Pod Autoscaler来实现它。在写这篇文章的时候，Knative可能是最成熟的解决方案。

还有一些更实验性的解决方案，比如osiris或zero-pod-autoscaler，你可能会感兴趣，它们可能很适合你的用例。