从AppEngine触发基于Kubernetes的应用程序

Question

我目前正在寻找触发一些3D渲染从一个基于AppEngine的服务。

其思想是，输入数据由一个API客户端提交到这个web服务，然后该服务调用一个内部的Kubernetes启用GPU的应用程序(“呈现后端”)来完成这项工作。

1. 支持GPU的集群相对昂贵($$$)，所以我非常希望集群能够按需运行。我正试图通过将呈现后端的自动标度最小值设置为0来实现这一点。
2. 在这样一个集群上“触发”呈现任务的唯一好方法是通过Pub/Sub Push。基本上，我需要类似于云任务的东西，但这些任务似乎是针对在AppEngine中执行的长期运行的任务，而不是Kubernetes。另外，我喜欢Pub/Sub将web服务与呈现后端分离的方式。
3. Google的Pub/Sub只允许通过HTTPS进行推送，并且只允许进入经过验证的域。谷歌似乎在强迫我完全“暴露”我的内部渲染后端，给它分配一个域名，这感觉很可笑。我不能让Pub/Sub调用http://loadbalancer.IP.address/handle_push。

这让我怀疑我的建筑。

你会如何在GCP上建立这样的东西呢？

Answer 1

从GKE的角度来看：

您可以拥有一个具有专用GPU节点池的集群，并使用污点和容忍调度您的吊舱。此外，您还可以使用自动标度来控制节点池中的节点数量，这样，您只能在计划/运行豆荚时使用它们。

考虑到这需要一个额外的非基于GPU的默认节点池，其中正在运行系统荚。

为了触发，只要您的默认池正在运行，您就可以部署您的应用程序，自动标号应该会自动启动。对于从API应用程序进行部署，您可能需要考虑直接与Kubernetes 通过图书馆对话。

最后，考虑到当前目标的本质(3D渲染)，最好使用库伯奈特·乔布斯。有了这些，您可以完成一个零星的计算负载，允许节点池在完成后缩小大小。

最后，您可以拥有一个最小的集群，具有一个零大小的基于GPU的节点池，当一个受污染的作业被请求在那里运行时，它将自动缩放，一旦工作负载完成，它应该自动缩小规模。这些操作可以使用其中一个客户端库从GAE触发。