首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >数据流作业的初始状态

问数据流作业的初始状态
EN

Stack Overflow用户
提问于 2016-02-08 20:42:33
回答 1查看 251关注 0票数 6

我试图弄清楚我们是如何为一些流数据流作业“种子”窗口状态的。场景是,我们有一个论坛消息流,我们希望为每个主题发出一个始终运行的消息计数,因此我们有一个带有全局窗口的流数据流作业,并且每次出现一个主题记录时都会发出触发器。目前为止一切都很好。但是在流源之前,我们有一个很大的文件,我们想要处理它来获得我们的历史计数,而且,因为主题永远存在,我们需要历史计数来通知来自流源的输出,所以我们需要相同的逻辑来运行文件,然后在文件耗尽时开始运行流源,同时保持窗口状态。

当前的想法:

  • 编写一个自定义的无界源,它就是这样做的。读取文件,直到文件耗尽,然后从流开始读取。并不是很有趣,因为编写自定义源并不是很有趣。
  • 在文件上以批处理模式运行逻辑,最后一步以某种方式将状态发送到流接收器,然后有一个从状态流和数据流读取的逻辑启动流版本,并以某种方式将两者结合在一起。这似乎有点道理,但不确定在读取数据流之前,如何确保流作业从状态源读取所有内容,以进行初始化。
  • 将历史数据导入流中,编写从这两个流读取的作业。问题与第二个解决方案相同,不确定如何确保一个流首先被“消耗”。

编辑:最新的选项,以及我们要做的,是编写计算作业,这样无论事件发生的顺序如何,我们只需将归档文件推送到pub/子主题,就可以了。在这种情况下,这是可行的,但显然它会影响下游使用者(需要支持更新或撤回),所以我想知道人们有哪些其他解决方案来播种他们的窗口状态。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-02-09 00:02:52

您可以执行在项目2中建议的操作--运行两个管道(在相同的主管道中),第一个管道从大文件中填充公共子主题。这类似于StreamingWordExtract示例所做的工作。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/35278930

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档