我们可以在批处理模式下使用flatMapGroupsWithState吗？

Question

我们可以在批处理模式下使用flatMapGroupsWithState吗？

我们一直在使用flatMapGroupsWithState应用程序接口对点击流数据进行会话。现在我们计划使用它在批处理模式下运行。

有关更多背景信息，请查看Bartosz Konieczny在youtube Using Apache Spark to Solve Sessionization Problem in Batch and Streaming上发布的视频

我们可以去掉full-outer连接并使用带有checkpoint folder和Spark State的mapGroupWithState吗

Answer 1

我们是否可以摆脱完全外部连接，并使用带有检查点文件夹和Spark状态的mapGroupWithState

是，如果源在结构化流中受支持。您可以添加Trigger.Once并在“批处理”模式下协调数据编排层的执行。但是由于每个作业的执行都是通过将所有活动状态从状态存储加载到Spark shuffle分区来开始的，所以最终它非常类似于在仍处于活动状态的会话中执行完全外连接。除非，你想减少延迟，并使用流控制执行？你能解释一下为什么你想换吗？

最好的，巴托斯。