带有GPU的GCP kubernetes节点过早被抢占

Question

我在us-central1-a上有一个kubeflow k8s集群，带有自定义的GPU驱动的可抢占节点池：

​

我在这些GPU节点上运行kubeflow笔记本服务器。由于某种神秘的原因，节点在启动后很快就会收到compute.instances.preempted消息(5-10分钟)：

​

为什么会发生这种情况？

Answer 1

因为您已经创建了一个可抢占的节点池，所以这几乎是预期的行为。GCE可以终止可抢占的实例at any time，唯一真正的保证是，如果它们运行不到一分钟(当然，它们总是在24小时后被抢占)，您将不会为该实例收费(但您将为任何请求的高级操作系统收费-- COS不是其中之一)。

GPU节点的需求可能很高，与其他可抢占实例一样，这将受到特定区域和时间的影响。如果您需要实例保持可用状态，则应使用全价实例。使用GKE，有一种方法可以通过autoscale GPU nodes来帮助控制成本。