使用令牌范围删除数十亿卡桑德拉记录使用星火？

Question

超过一半的记录在我的15 to卡桑德拉表现在已经过时，我想删除它们。我为它写了一份星火作业，但它似乎很脆弱，而且通常会因超时错误而死亡(没有提及墓碑)。因此，我想在一系列较小的任务中扫描该表，每个任务处理表中的一个单独且有限的部分(因此希望避免可怕的墓碑问题)。不幸的是，用我的索引，我不能准确地查询过时的记录，所以我必须检查它们全部。我打算的方法是选择WHERE令牌(Partition_key)>M和令牌(Partition_key)

在准备选择时例外.从..。哪个令牌(“上下文”、"itemid") >？以及令牌(“上下文”、"itemid") <=？令牌(上下文，itemid) > 9200000005000000000，令牌(上下文，itemid) < 9223372036854775807允许过滤:对上下文的开始绑定itemid有多个限制。

我很确定前两种情况都是由火花注射的。我不知道允许过滤从哪里来。

显然，这个索引的设计没有考虑到这种清除操作。到了某个时候，我可能会咬紧牙关，迁移到一个复制的表中，没有过时的记录。但如果可行的话，我想就地清洗。

Answer 1

看看能不能帮上忙。

参考资料：https://community.datastax.com/questions/881/best-way-to-delete-1000s-of-partitions-with-spark.html

spark.sparkContext.cassandraTable(KS，T) //全表扫描

.select("run_date“、"entity_type”、"rank_offset") //只是我们的PK列

.filter( ) //在这里执行星火侧过滤(没有C*下推)

.deleteFromCassandra(KS，T)