Google vCPU时间混淆

Question

我最近一直在尝试作曲家来管理我的管道，发现它的成本比我想象的要高得惊人，这是我从法案中得到的：

Cloud Composer Cloud Composer vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A$17.11
Cloud Composer Cloud Composer SQL vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A$27.43

我只用了两三天的作曲家，而且肯定不是每天24小时跑步，我不知道148个小时是从哪里来的。

这是否意味着在您将dag部署到composer之后，即使它没有运行，它仍然在使用资源，而composer正在积累vCPU时间吗？

如果我想每天使用Composer来运行我的管道，如何降低成本？谢谢。

Answer 1

Composer主要负责分配给环境的计算资源，因为即使没有部署DAG，它的大多数组件也会继续运行。这是因为气流主要是一个工作流调度程序，所以当工作流突然准备运行时，没有什么可以关闭和期待的。

在您的示例中，计费的vCPU时间是由环境的GKE节点和托管气流数据库贡献的。除了GKE节点计数，没有什么可以减少或关闭，因此，如果您需要任何较小的，您可能需要考虑自我管理气流或其他平台完全。如果您的主要目标仅仅是处理数据，并且您不需要由气流提供的调度方面，也适用同样的注释。

Answer 2

据我所知，目前还不是作曲家的特征。

在工作人员级别，您应该能够通过手动修改composer的配置来做到这一点，并允许它的kubernetes工作人员根据工作负载进行上下缩放。

约书亚·亨迪纳塔在下面的链接中给出了一个指南，介绍了实现作曲家1自动标度的必要步骤。

也可能是你的互联网络，这篇文章介绍了节省作曲家成本的方法。

希望这能帮到你！

1

2