在pySpark中将RDD拆分为n个部件

Question

我想将RDD分割成长度相同的n个部分，使用Pyspark。

如果RDD类似于

data = range(0,20)
d_rdd = sc.parallelize(data)
d_rdd.glom().collect()
[[0, 1, 2, 3, 4, 5, 6, 7, 8, 9], [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]]

我希望任意两个随机数集合在一起，就像

[[0,4],[6,11],[5,18],[3,14],[17,9],[12,8],[2,10],[1,15],[13,19],[7,16]]

Answer 1

两种方法：

当使用parallelize，时，设置分区num，并使用函数 distinct()

data = range(0,20)
d_rdd = sc.parallelize(data, 10).distinct()
d_rdd.glom().collect()

使用repartition() 和using()的

data = range(0,20)
d_rdd = sc.parallelize(data).repartition(10).distinct()
d_rdd.glom().collect()