气流分布式模型服务

Question

从localexecutor切换到celeryexecutor。

在这个模型中，我

Masternode1 - airflow webserver, airflow scheduler, rabbitmq 
Masternode2 - airflow webserver, rabbitmq
Workernode1 - airflowworker
Workernode2 - airflowworker
Workernode3 - airflowworker

问题：

芹菜的Flower服务在哪里运行？它是否需要在所有节点中运行，还是只运行其中的一个节点(因为它是唯一的UI)？

是否有任何其他组件可以管理生产工作负载？

是否将Kafka用于代理是一种现实，并可供使用？

谢谢

Answer 1

芹菜花卉是另一个(可选的)服务，您可能希望独立在一个专用的机器，或共享一台机器中的少数气流服务。例如，您可以在一台机器上运行few服务器和few，在一台专用机器上运行调度器和很少的气流工作人员。

卡夫卡是芹菜的经纪人，这是人们经常谈论的事情，但据我所知，芹菜并没有具体的工作。然而，考虑到有在Kombu获得Kafka支持的兴趣，我会假设，一旦科姆布得到卡夫卡的支持，芹菜很快就会跟进，因为科姆布是核心的芹菜依赖。