Flink算子的正则重试方法

Question

我有几个Flink作业，它们接收来自一系列Kafka主题的数据，进行一些聚合，并将结果发布到Kafka主题中。

聚合部分在某种程度上是困难的。我必须从几个HTTP端点检索一些信息，并以特定的格式将响应放在一起。问题是有些出站HTTP调用有时会超时，所以我需要一种重试它们的方法。

我想知道是否有一种规范的方法在Flink操作符中完成这样的任务，而不需要完全手工地做一些事情。如果没有，建议采取什么办法？

Answer 1

再过一个多月，您就可以在AsyncIO中获得Flink 1.16的重试支持：

• https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/operators/asyncio/#retry-support

这可能是你最好的选择。同时，使用AsyncIO，但将其配置为支持长超时并在asyncInvoke中自己处理重试可能是一种选择。