如何使用Apache Spark建立B-tree索引？

Question

现在我有了一组数字，比如1,4,10,23,...，我想用Apache Spark为它们构建一个b-tree index。格式是每行每条记录(用‘/n’分隔)。而且我也不知道输出文件的格式，我只想找一个推荐的

构建b-tree索引的常规方法在https://en.wikipedia.org/wiki/B-tree中显示，但我现在希望在Apache Spark中有一个分布式并行版本。

此外，B-tree的维基介绍了一种构建B-树的方法来表示大量现有的数据。(请参阅https://en.wikipedia.org/wiki/B-tree)似乎我应该提前对其进行排序，我认为对于大型数据集，排序非常耗时，甚至由于内存有限无法完成。上面提到的这个方法是推荐的吗？

Answer 1

使用RDD.sort对RDD进行排序(如果尚未排序)。使用RDD.mapPartitions为每个分区构建索引。然后构建一个连接每个分区的索引的顶级索引。