如何在窗口上广播计算出的数据流?例如,在过去的10分钟内,我发现满足某个条件的行子集(称为send_events数据流)。我需要使用ack_events_for_send_events数据流在最近10分钟内找到满足另一个条件(称为send_events数据流)的一组行。我不想因为大的混洗而分组。当我做groupbykey时,每个组的大小非常小,最多10个。换句话说,我有很多组(我不确定这是否有助于优化我的操作。我只是想分享一下。)
示例:
id1, type1, time1
id1, type2, time3
id2, type1, time5
id1, type1, time2
id2, type2, time4
id1, type2, time6我想找出每个id的type1和type2之间的最小时间差。每个id最多有10行,但我在一个给定的窗口中有10,000个id
发布于 2016-10-11 15:45:37
也许下面的方法能行得通?
yourDStream.foreachRDD(somefunc)然后在一些有趣的地方:
def somefunc(rdd):
broadcastedList=sc.broadcast(rdd.collect())https://stackoverflow.com/questions/31095306
复制相似问题