PySpark中的.cartesian()

Question

我创建了rdd = sc.parallelize(range(200))。然后我设置了rdd2 = rdd.cartesian(rdd)。不出所料，我发现rdd2.count()为40,000。然而，当我设置rdd3 = rdd2.cartesian(rdd)时，rdd3.count()还不到20,000。为什么会这样呢？

Answer 1

这是SPARK-16589跟踪到的错误。