如何让我的spark RDD保持更新？

Question

我正在和cassandra一起使用apache Spark。我能够创建RDDs并获得结果。我正在使用Calliope来做这件事。

我试着找到了很多关于如何在不手动刷新的情况下保持RDD更新的方法。我发现使用calliope Cassandra steraming可以在cassandra中保存数据的例子很少，但我没有找到任何可以每隔几秒钟获取数据并保持RDD更新的方法。如果有人知道这件事，请让我知道。

Answer 1

您不希望频繁地使用Spark重新查询数据，因为它别无选择，只能每次都重新加载整个表(它无法知道更新了什么)。如果你想处理不断的更新，你应该将你的更新发送到一个队列中，然后使用Spark streaming来处理它们。