为了丰富数据流,我们计划将MySQL (MemSQL)服务器连接到现有的flink流应用程序
正如我们所看到的,Flink提供了一个带有JDBC连接器https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/jdbc/的Table
此外,我还发现了另一个名为Flink-CDC https://ververica.github.io/flink-cdc-connectors/master/content/about.html的MySQL连接器,允许以流的方式处理外部数据库。
他们之间有什么区别?在我的情况下,有什么更好的选择呢?
发布于 2022-02-08 08:52:37
更改数据捕获(CDC)连接器捕获在一个或多个表中发生的所有更改。架构通常有前记录和后记录。Flink CDC连接器可以直接在Flink中以无限制模式(流)使用,而不需要在中间使用Kafka之类的东西。
普通的JDBC连接器可以在有界模式下使用,并用作查找表。
如果您希望丰富现有的流,那么您很可能希望使用查找功能。这允许您查询表中的特定键(来自您的流),并使用表中的数据丰富流。请记住,从性能角度来看,最好使用时态表联接。参见https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/jdbc/#how-to-create-a-jdbc-table中的示例
https://stackoverflow.com/questions/71025117
复制相似问题