嵌入式Flink实例的JobManager在哪里？

Question

我正在开发一个具有多个(微)服务的应用程序。

我使用Flink (通过Kafka)在服务之间传输消息。Flink嵌入在Java应用程序中，每个应用程序都在单独的docker容器中运行。这是我第一次尝试Flink，在看完文档后，我仍然觉得我遗漏了一些基本的东西。

谁在管理这些作业？

JobManager在哪里运行？

如何监控处理过程？

谢谢,

摩西

Answer 1

我推荐斯蒂芬·埃文在Flink Forward 2016上的this talk。它解释了不同部署的当前Apache Flink架构(10:45)以及未来的目标。

通常，JobManager管理Flink作业，而TaskManagers执行由多个任务组成的作业。如何编排组件取决于您的部署(本地、Flink集群、YARN、Mesos等)。

监控进程的最佳工具是默认端口为8081的Flink Web UI，它提供了不同的调试和监控指标(例如，监控checkpointing或back-pressure)。