如何在非实时地使用sql在蜂窝表上进行星火流？

Question

我们有一些数据(数百万)在蜂箱表中，每天都有。第二天，一旦熬夜摄入完成，不同的应用程序就会查询我们的数据(使用sql)。

我们使用这个sql并调用spark。

spark.sqlContext.sql(statement)  // hive-metastore integration is enabled

这导致火花驱动程序占用过多内存，我们是否可以使用火花流(或结构化流)以管道方式流，而不是收集驱动程序上的所有内容，然后发送给客户端？

我们不想(在典型的流应用程序中)立即发送数据，而是希望在客户要求(拉)数据时向客户发送流数据。

Answer 1

IIUC。

• 火花流主要用于处理流数据，将其转换为毫秒到秒的批处理。
• 您可以查看streamingDF.writeStream.foreachBatch { (batchDF: DataFrame, batchId: Long)，为Spark提供了一个非常好的功能，可以以微批处理方式编写流处理输出Sink。
• 尽管如此，Spark结构化流并没有标准的JDBC源代码可供读取。
• 设计一个选项，以压缩和结构化的方式直接存储Hive底层文件，如果每个客户端需要相同/类似的数据，则直接传输它们，而不是通过spark.sql进行选择，或者根据spark.sql查询和传输所需文件的位置情况对它们进行分区。

资料来源：

结构化流查询是使用微批处理引擎处理的，该引擎将数据流作为一系列小批处理作业处理，从而实现端到端延迟低至100毫秒，且只需一次容错保证。

ForeachBatch

foreachBatch(.)允许您指定对流查询的每个微批处理的输出数据执行的函数。从Spark2.4开始，Scala、Java和Python都支持这一点。它包含两个参数: DataFrame或Dataset，它具有微批处理的输出数据和微批处理的唯一ID。