Apache火花所有权与Ignite所有权

Question

我一直在研究星火中的Ignite SharedRDD，并想了解在Spark作业中涉及到的底层执行层/阶段。

在ScalarSharedRDDExample.scala中，

• 下面的转换在哪里执行？

val =transformedValues.sql(“从整数中选择_val，其中_val < 100和_val >9 ")

• 火花和点火如何划分火花应用程序的所有权？

(谁对什么负责？)

• 在构建Spark应用程序方面有哪些最佳实践？

Answer 1

每件事都还在执行，它们过去的样子。IgniteRDD是作为分布式Ignite缓存上的视图实现的，该缓存可以部署在Spark作业执行过程中，也可以部署在Spark上，也可以部署在自己的集群中。

根据他们网站上的信息，共享状态可能只存在于星火应用程序的生命周期(嵌入式模式)，也可能存在--生存于火花应用程序(独立模式)，在这种情况下，状态可以跨多个火花共享。

欲了解更多信息，请访问官方网站共享Apache Spark RDDs

还可以阅读一些文档化的用例，这些用例有助于更好地理解。

分布式数据库 键值存储

参见代码示例，IgniteContext是从sparkContext创建的。

val igniteContext = new IgniteContext(sparkContext, 
    () => new IgniteConfiguration())

希望这能帮上忙！干杯！

Answer 2

下面的转换在哪里执行？

在Ignite节点上执行的SQL。

火花和点火如何划分火花应用程序的所有权？

你可以读到它，这里

在构建Spark应用程序方面有哪些最佳实践？

点燃可以提供共享存储，因此状态可以从一个星火应用程序或作业传递到另一个应用程序或作业。

点火器可以为SQL提供索引，因此Spark可以加速超过1000倍(spark不对数据进行索引)

当使用文件而不是RDD时，Apache内存文件系统(IGFS)也可以在Spark作业和应用程序之间共享状态。

好吧，最佳实践是一个过于宽泛的问题--我认为您需要从点火实例开始，如果您要面对任何问题，需要问一个特定的问题。