正在关闭Spark Streaming

Question

我是Spark的新手，我有一个问题。

我有火花流应用程序，使用Kafka。如果新批处理为空(假设batchDuration = 15分钟)，有没有办法告诉我的应用程序关闭？

Answer 1

下面这几行中的一些东西应该这样做：

dstream.foreachRDD{rdd =>
    if (rdd.isEmpty) {
        streamingContext.stop()
    }
}

但请注意，根据您的应用程序工作流，第一批处理(或其间的某个批处理)也可能是空的，因此您的作业将在第一次运行时停止。您可能需要结合一些条件才能更可靠地停止。