如何用flink存储/聚合相关的cdc事件？

Question

我有一个kafka队列，其中有多个cdc事件来自数据库。假设下面三个表实现了一个学生课程n:n协会：

STUDENT
COURSE
STUDENT_COURSE

我可以举办以下“商业”活动：

一名新生报名参加一门课程:在这种情况下，我会收到卡夫卡队列中的3 events，说事件可以按任何顺序进行，但我想发出一个类似于这样的“商业”事件：{"type": "change", "student": {"name": "Jhon", "age": "..}, "newcourse": {"name":"maths", "teacher":"Foo", ...}

• Updates学生改变了他们的课程:在这种情况下，我只会在卡夫卡队列(在STUDENT_COURSE上)上接收1事件，我会启动一个类似于这样的“商业”事件:学生信息上的{"type": "change", "student": {"name": "Jhon", "age": "..}, "newcourse": {"name":"maths", "teacher":"Foo", ...}

• Updates(比如电子邮件、电话、.)或课程信息(时间、教师、.)在任一表

上发生的1次事件

我的问题是，我不知道如何存储和关联说的CDC一起举办商业活动，实际上我需要这样做：

1. 接收事件并将其存储在“不确定的”状态，等待合理的时间，如果收到另一个表上的事件，则为10秒
2. ，则在第1
3. 中，否则我处于2/3

中。

在flink中有获得这种行为的方法吗？

Answer 1

看起来，您可以从从这些CDC流派生的3个动态表上开始使用一个流SQL连接，这将产生一个与您要寻找的内容一致的更新流。

https://github.com/ververica/flink-sql-cookbook中的一些示例应该为入门提供灵感。https://github.com/ververica/flink-sql-CDC和https://github.com/ververica/flink-cdc-connectors也是很好的资源。