避免每次执行整个查询

Question

我有一个查询，它在mysql数据库中找到的数据上做了一段时间的移动平均。然后，我需要每天执行该查询以使用前一天的值。

而不是每次我使用检查点来存储到目前为止计算的最新日期时查询我的数据库。然后，我将恢复检查点以获取数据帧，但我将获取之前使用的所有数据，包括存储在数据帧中的最新日期。

我只需要一个方法，不必在整个mysql数据库上重新执行我的查询，而是使用最新日期的输入，或者在spark中是可行的和推荐的。

df.checkpoint
RecoverCheckpoint.recover

我不知道这是不是一个好的方法，因为检查点是用于容错的。有没有其他方法可以做到这一点？

参考：

Spark Checkpointing Non-Streaming - Checkpoint files can be used in subsequent job run or driver program

Answer 1

你可能会喜欢这个https://dzone.com/articles/what-are-spark-checkpoints-on-dataframes，因为你会发现对于迭代算法来说，这也是一个必要的方面。一些需要掌握的奇怪的东西。

老实说，当你提到我最初的问题时，我会重新询问，我会做一些简单的事情。回答得很好，但我不可能实现它。你看到了你自己遇到的问题。