用于外部数据访问的异步I/O BEAM API

Question

我很想知道用于外部数据访问的Asynchronous I/O Flink API是否也适用于Beam。我找不到任何具体的东西。我知道横梁使用Flink作为执行框架，所以异步I/O对横梁也是可能的，但我不确定API是否已经定义。

Answer 1

我在Beam的Flink runner代码库中找不到任何相关的东西，我相信这不是那么容易做到的(甚至不确定它是否可能)，因为所有的Beam IO都是以统一的方式实现的，它们必须在不同的runner上运行。因此，在管道转换阶段，任何特定的数据处理或优化都必须由转轮直接使用，该转轮用于在此平台上运行波束管道(在您的情况下为Flink)，并且仍然停留在波束模型的限制内。