我怎样才能清楚地解释Spark RDD到底是什么呢？

Question

我正在给我的小学生进行Spark的培训，并在我的脑海中想到了这个问题。我知道RDD的概念知识，它是多么伟大的概念，以及它是如何使分布式编程变得更快的。

但是，对我给他的关于RDD的解释并不满意。想要获得最好的描述，并张贴这个问题。

Answer 1

下面是RDD接口的简单说明，取自:Spark Summit 2015

RDD接口包含

在给定k/v RDDs (“splits”)

• List的首选locations

• Optional分区信息的情况下，用于计算分区的
• 分区集依赖于父RDDs的
• 函数

现在以HadoopRDD为例

数据块分区=每个HDFS一个block

• Dependencies =无数据块计算(

• )=读取对应的数据块(部分)=

• block

• preferredLocations =none

以FilteredRDD为例

无筛选器分区=与父分区相同RDD

• Dependencies = parent

• Compute (分区)上的“一对一”=计算父分区并筛选it

• preferredLocations (部分)=无(ask parent)

• Partitioner = none

因此，RDD基本上只是一种数据结构，用于存储谱系和其他信息，以便在发生故障时重新创建它，这是Matei Zaharia论文背后的主要思想。