我试图弄清楚我们是如何为一些流数据流作业“种子”窗口状态的。场景是,我们有一个论坛消息流,我们希望为每个主题发出一个始终运行的消息计数,因此我们有一个带有全局窗口的流数据流作业,并且每次出现一个主题记录时都会发出触发器。目前为止一切都很好。但是在流源之前,我们有一个很大的文件,我们想要处理它来获得我们的历史计数,而且,因为主题永远存在,我们需要历史计数来通知来自流源的输出,所以我们需要相同的逻辑来运行文件,然后在文件耗尽时开始运行流源,同时保持窗口状态。
当前的想法:
编辑:最新的选项,以及我们要做的,是编写计算作业,这样无论事件发生的顺序如何,我们只需将归档文件推送到pub/子主题,就可以了。在这种情况下,这是可行的,但显然它会影响下游使用者(需要支持更新或撤回),所以我想知道人们有哪些其他解决方案来播种他们的窗口状态。
发布于 2016-02-09 00:02:52
您可以执行在项目2中建议的操作--运行两个管道(在相同的主管道中),第一个管道从大文件中填充公共子主题。这类似于StreamingWordExtract示例所做的工作。
https://stackoverflow.com/questions/35278930
复制相似问题