我正在使用Postgres作为源的Flink应用程序来读取某些配置数据,将其转换为数据流,然后将其与传入的实时数据流连接起来。
我尝试过使用Postgres CDC连接器,并且能够读取单个表并将其反序列化为POJO并进一步使用它。
但是,我的要求是使用CDC源本身中的联接条件从多个表中读取数据,然后将其转换为数据流。我们可以在源中编写自定义查询吗?我还没有找到这种可能性,我能想到的唯一解决方案就是分别创建多个源,然后在最终加入实时数据之前加入这些源。有人能帮忙吗?
致以敬意,
斯瓦普尼尔
发布于 2022-04-07 08:15:46
您能否反过来解决您的问题,通过读取传入的实时数据流,然后通过JDBC连接器对Postgres DB执行查找?CDC连接器用于监视表中发生的更改,并将每个更改发送到Flink。我不认为有可能执行任何加入CDC连接器的前期工作。
https://stackoverflow.com/questions/71777320
复制相似问题