在GCP中部署TensorFlow模型的成本？

Question

我正在考虑在GCP中使用顶点AI部署一个TensorFlow模型。我几乎可以肯定，成本将与每秒的查询次数(QPS)直接相关，因为我将使用自动缩放。我也知道机器的类型(与GPU，TPU等)会对成本产生影响。

• 您对每秒的查询次数与成本有任何估计吗？
• 虚拟机的类型如何改变此成本？

模型类型用于对象检测。

Answer 1

自动标度取决于CPU和GPU的利用率，这与QPS直接相关，正如您所说的。要根据QPS估算成本，可以直接将自定义预测容器部署到Compute实例，然后通过进行预测调用对实例进行基准测试，直到VM达到90+ %的CPU利用率(如果配置了GPU使用率)。对不同的机器类型多次执行此操作，并确定不同机器类型的“每小时成本QPS”。您可以重新运行这些实验，同时对延迟进行基准测试，以找到每个QPS的理想成本、每个延迟目标、特定自定义预测容器的。有关为工作负载选择理想机器的更多信息，请参阅此文档。

对于第二个问题，根据顶点AI定价文档 (模型部署)，成本估算是根据节点时间进行的。节点小时表示虚拟机运行预测作业或处于就绪状态以处理预测或解释请求的时间。所提供的每种类型的VM都有每个节点小时的特定价格，这取决于内核的数量和内存的数量。使用拥有更多资源的VM将增加每个节点小时的成本，反之亦然。要为您的部署选择一个理想的VM，请遵循第一段中给出的步骤，这些步骤将帮助您在成本和性能之间找到一个很好的折衷。