flink作业管理器或任务管理器实例

Question

在flink流处理框架中，我没有几个问题。请告诉我你对这些问题的意见。

假设我用task-manger/job-manger?

• If节点构建集群，其中使用m节点作为作业管理器(对于HA)，那么，剩下的节点(n-m)是每个节点中的问号管理器？

• ，那么我们有n核，那么我们如何控制/使用特定数量的内核到中，然后添加新节点作为任务管理器，作业管理器是否自动将任务分配给新添加的task-manger?

1. Does flink具有分区和数据倾斜的概念?如果flink连接到脉冲星并需要从分段主题读取数据，则为
2. 。那么，这里的并行性是什么呢？)并行等于no。或者完全取决于flink任务管理器的no.of任务槽)
3. 在作业图上有内置的优化吗？(例如。我的工作图有这么多filter，map，flatmap。等)。请你提出任何关于flink作业的文档/材料，我们有任何选择，比如，一个专用的核心可以用于prometheus度量标准的刮取？

Answer 1

1. Yes
2. Configuring每个TM：https://nightlies.apache.org/flink/flink-docs-stable/docs/concepts/flink-architecture/#task-slots-and-resources的插槽数，尽管每个操作符都在自己的线程中运行，而且您无法控制它们在哪个内核上运行，所以您实际上没有一个关于如何使用内核的细粒度控制。配置资源组还允许您跨时隙分发操作员:对于当前正在运行的作业，需要重新调整它们的规模：https://nightlies.apache.org/flink/flink-docs-stable/docs/dev/datastream/operators/overview/#task-chaining-and-resource-groups
3. Not。但是，新的工作将使用它。
4. 是的。https://nightlies.apache.org/flink/flink-docs-stable/docs/dev/datastream/sources/
5. It将依赖于Fink源，parallelism.
6. It会根据其认为合适的情况自动优化图形。您有一些控件重新标度和链接/拆分操作符：https://nightlies.apache.org/flink/flink-docs-stable/docs/dev/datastream/operators/overview/ (接近尾端)。根据经验，我将开始在每个时隙部署一个完整的作业，然后，一旦正确地了解了瓶颈所在，就尝试优化图形。由于数据序列化和改组的增加，大多数情况下都不值得这样做。
7. 您可以导出Prometheus度量标准，但没有专门用于它的核心：
8. 。