如何检查在spark-streaming中有效执行reduceByKey

Question

我运行的是Spark 2.3.1独立集群。我的工作是每2分钟消费一次Kafka迷你批次，并将聚合写到某个商店。Job如下所示：

val stream = KafkaUtils.createDirectStream(...)
stream.map(x=> Row(...))
   .flatMap(r=> ... List[Row] )
   .map(r=> (k,r))
   .reduceByKey((r1, r2) => r)
   .map { case (_, v) => v} 
   .foreachRDD { (rdd, time) => // write data}

当我查看DAG时，图片如下所示

​

我的问题--据我所知，spark应该使用组合器来进行reduceByKey操作，这应该会大大减少混洗的大小。为什么DAG没有显示这个，我如何检查那个？

附加问题-如果随机播放大小为2.5G，是否会命中磁盘？我应该查看哪些配置属性/指标来检查该作业是否已配置并以最佳方式运行。对于此作业，执行器使用10G内存运行

Answer 1

第一个问题: reduceByKey在内部调用combineBykey。因此，您不会看到DAG执行上的差异，即任务相同。

第二个问题，请重新发帖。既然你没有，阶段的细节，洗牌溢出盘应该会给你一个指示。