如何将DStream[List[T]]转换为DStream[T]

Question

我对scala还不熟悉，我有一个问题让我困惑了好几个小时：

目前，我生成了一个listT数据流，打印为

List(PV(57,2,1448910200000,0xD13617EBC1032E0869C7,BI Office),
PV(57,2,1447200000000,0xD13617EBC1032E0869C7,UPS office),     
PV(100,2,1449900000000,0xD13617EBC1032E0869C7,BI Office), 
PV(57,2,1447200000000,0xD13617EBC1032E0869C7,UPS office))

是否有一种方法可以将列表的Dstream转换为Dstream

PV(57,2,1448910200000,0xD13617EBC1032E0869C7,BI Office) 
PV(57,2,1447200000000,0xD13617EBC1032E0869C7,UPS office)
PV(100,2,1449900000000,0xD13617EBC1032E0869C7,BI Office)
PV(57,2,1447200000000,0xD13617EBC1032E0869C7,UPS office)

然后，我可以将其转换为pairDStream，并在Dstream上实现updateStateByKey函数。

Answer 1

您可以使用Dstream的flatMap函数。它将通过从源中的每个记录生成多个新记录来创建一个新的DStream。

val words:Dstream[List[T]] = { ........... }
val word:Dstream[T] = words.flatMap(list => list)

Answer 2

尝试：

dstream.flatMap(list => list)