首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >spark streaming中的广播

问spark streaming中的广播
EN

Stack Overflow用户
提问于 2015-06-28 09:33:40
回答 1查看 575关注 0票数 1

如何在窗口上广播计算出的数据流?例如,在过去的10分钟内,我发现满足某个条件的行子集(称为send_events数据流)。我需要使用ack_events_for_send_events数据流在最近10分钟内找到满足另一个条件(称为send_events数据流)的一组行。我不想因为大的混洗而分组。当我做groupbykey时,每个组的大小非常小,最多10个。换句话说,我有很多组(我不确定这是否有助于优化我的操作。我只是想分享一下。)

示例:

代码语言:javascript
复制
id1, type1, time1
id1, type2, time3
id2, type1, time5
id1, type1, time2
id2, type2, time4
id1, type2, time6

我想找出每个id的type1和type2之间的最小时间差。每个id最多有10行,但我在一个给定的窗口中有10,000个id

EN

回答 1

Stack Overflow用户

发布于 2016-10-11 15:45:37

也许下面的方法能行得通?

代码语言:javascript
复制
yourDStream.foreachRDD(somefunc)

然后在一些有趣的地方:

代码语言:javascript
复制
def somefunc(rdd):
    broadcastedList=sc.broadcast(rdd.collect())
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31095306

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档