持久化星火RDD在另一个星火外壳中不可用

Question

我们有一个Spark-1.1.0独立的2节点集群，在该集群上已经使用Spark创建了一个Spark。RDD已被持久化(MEMORY_ONLY)。我无法使用sc.getPersistentRDDs()从另一个shell检索这个RDD。我有遗漏什么吗？

Answer 1

RDD被持久化在SparkContext的上下文中，该上下文起源于RDD，并且只能通过创建RDD的火花上下文来访问。

这意味着您不能访问使用SparkContext从另一个SparkContext B创建的RDD，就像第二个SparkContext-shell的情况一样。