Spark.Streaming.backpression.*属性是否适用于Spark结构流？

Question

我的理解是Spark structured Streaming是建立在Spark SQL之上的，而不是Spark streaming。因此，下面的问题是，应用于spark流的属性是否也适用于spark结构化流，例如：

spark.streaming.backpressure.initialRate spark.streaming.backpressure.enabled spark.streaming.receiver.maxRate

Answer 1

不适用，这些设置仅适用于DStream接口。Spark Structured没有背压机制。您可以在此讨论中找到更多详细信息：How Spark Structured Streaming handles backpressure?

Answer 2

不是的。

Spark Structured Stream默认情况下会在完成当前批处理后尽快处理数据。您可以通过各种类型的处理速度进行控制，例如文件的maxFilesPerTrigger和KAFKA的maxOffsetsPerTrigger。

这个链接http://javaagile.blogspot.com/2019/03/everything-you-needed-to-know-about.html解释了背压是不相关的。

• 引用：“结构化流媒体不能做真正的反压力，因为，例如，Spark不能告诉其他应用程序放慢将数据推送到Kafka中的速度。”
  • 我不确定这方面是否相关，因为KAFKA缓冲了数据。尽管如此，这篇文章还是有很好的优点imho.