自动标注Google云编写器

Question

我读过这媒体文章，这是搜索自动标度和云编写器时最热门的文章之一。它显示了一些‘黑客’，您可以使用自动规模作曲家，而它仍然配置为使用CeleryExecutor。

我还读过关于与Composer一起使用GCP文档的KubernetesPodOperator (KPO)，并在此之前实现了这一点。

然而，使用KPO意味着您无法利用所有其他气流运算符--您每次都必须编写自己的容器和代码。

KubernetesExecutor似乎是最好的方法--您可以使用气流操作符，并且可以从它将为每个任务实例创建一个新的Kubernetes Pod。开始启用自动标度。

Google目前运行在CeleryExecutor上，在阻塞气流配置中它目前表示

Composer将气流配置为使用芹菜执行器进行core-executor设置。

KubernetesExecutor会成为作曲家的一种选择吗？

Answer 1

不幸的是，你的问题还不能回答，因为没有官方计划这样做。尽管如此，如果这至少没有得到Composer产品团队的考虑，我会感到惊讶。

但是一旦有关于它的消息，它就应该发表在这个特征请求上。

Answer 2

我推荐这个气流.执行器.解释概述来比较CeleryExecutor和KubernetesExecutor的特性。正如您已经研究过您提供的链接，CeleryExecutor确实为Composer环境提供了可伸缩性。将KubernetesExecutor作为一种选择是很好的，但是没有必要，因为额外的好处并不比缺点更重要。