星火中的Dstream映射和Dstream转换映射是相同的吗？

Question

下面两个是一样的吗？

val dstream = stream.window(Seconds(60), Seconds(1))
val x = dstream.map(x => ...)

和

val dstream = stream.window(Seconds(60), Seconds(1))
val x = dstream.transform(rdd => rdd.map(x => ...))

Answer 1

map( func )通过函数函数传递源DStream的每个元素，从而返回一个新的DStream。

和

transform(func)通过向源DStream的每个RDD应用RDD函数返回一个新的DStream。这可以用于在DStream上执行任意RDD操作。

简而言之，Spark流中的转换函数可以用于Apache对流的底层RDDs的任何转换。map用于元素到元素的转换。

本质上，map工作在DStream的元素上，转换允许您使用DStream的RDDs (map工作在每个rdd上)。

http://spark.apache.org/docs/latest/streaming-programming-guide.html#transformations-on-dstreams

地图示例

val clicks: DStream[...] = ...
val mappedClicks: ... = clicks.map(...)

变换实例

transform(transformFunc: RDD[T] => RDD[U]): DStream[U]
transform(transformFunc: (RDD[T], Time) => RDD[U]): DStream[U]