气流容错

Question

我有两个问题：

• 首先，Kubernetes执行器是什么意思?换句话说，如果一个工作节点出现故障，会发生什么？
• 第二个问题，整个气流服务器有可能停机吗？如果是，是否有自动运行的备份来继续工作？

注:我最近开始学习气流。提前感谢

这是我在学习apache气流时面临的一个理论问题，我已经阅读了文档，但没有提到如何处理容错。

Answer 1

库伯奈特执行者是容错是什么意思？

气流调度器使用Kubernetes API观察者来监视每个更改上的工作人员(任务)的状态，以便发现失败的吊舱。当员工结荚停机时，调度程序将检测到此故障并更改元数据中失败任务的状态，然后可以根据重试配置重新安排和执行这些任务。

整个气流服务器有可能停机吗？

是的，这是有可能的，因为不同的原因，你有一些不同的解决方案/技巧，为每一个：

1. 元数据中的问题:气流中最重要的部分是元数据，它是用于不同调度程序和工作人员之间通信的中心点，用于保存所有进程运行和任务的状态，并在任务之间共享消息，并存储变量和连接，因此当它关闭时，一切都会失败：
   • 您可以使用托管服务(AWS RDS或Aurora、GCP Cloud或Cloud Spanner，.)
   • 您可以在K8S集群上部署它，但可以采用HA模式(doc for postgresql)。

2. 调度程序的问题:调度程序正在作为一个吊舱运行，根据您如何部署它，可能会丢失：。
   • 尝试请求足够的资源(特别是内存)以避免OOM问题。
   • 避免在现场/可抢占的VM上运行
   • 为调度程序创建多个副本(最少3)以激活HA模式，在这种情况下，如果调度程序关闭，则会有其他调度程序启动。

3. webserver的问题:它不会影响您的工作负载，但是您将无法在停机期间访问UI/API：
   • 尝试请求足够的资源(特别是内存)以避免OOM问题。
   • 这是一个无状态的服务，所以您可以创建多个副本，没有任何问题，如果其中一个掉下来，您将使用其他副本访问UI/API