Flink Sql中更好的设计是什么

Question

我在flink sql数据处理中有一个场景，其中有许多kafka消息(json格式)，消息内容的.All相似但不相同。我创建了许多flink表，与消息一一对应，我意识到很难维护kafka主题。

event1:
{
    "id": "id_001",
    "type": "in",
    "create_time": 1635116133089, 
    "uid":"uid_001"
}
event2:
{
    "id":"id_002",
    "status":"login",
    "type":"in"
}

我的flink sql通常使用水印、windows、cep。

我的痛点是我有各种各样的表似乎是多余的。在我的案例中有没有更好的桌子设计？

Answer 1

我最初的想法是看看您是否可以在使用可选字段的同时为您的事件定义一个通用模式。然后，您可以将所有事件发布到一个主题，因为某些字段可以保持为空。