火花SQL与火花壳REPL的性能差异

Question

Spark问题:我在spark-sql和spark-shell中进行完全相同的Spark查询。spark-shell版本大约需要10秒，而spark-sql版本大约需要20秒。

星星之火-sql REPL直接获取查询：

spark-sql> SELECT .... FROM .... LIMIT 20

火花外壳REPL命令如下所示：

scala> val df = sqlContext.sql("SELECT ... FROM ... LIMIT 20 ") 
scala> df.show()

在这两种情况下，都是完全相同的查询。此外，由于显式LIMIT 20，查询只返回几行。

如何从不同的CLI执行相同的查询有什么不同？

如果这有帮助的话，我正在运行Hortonworks沙箱VM (Linux )。

Answer 1

我想更多的是关于两个部分，

1. 首先，它可以与订单相关。如果您运行星星之火-sql第一火花将能够构建解释计划从零。但是如果您再次运行相同的查询。无论是从shell还是从sql，它都可能比第一个更少，因为解释计划很容易检索到。
2. 第二，它可能与星火-sql转换为资源排序有关。它发生了好几次。shell获取资源并比spark更快地启动进程。您可以从UI或top中检查这一点，您会发现火花壳的实际启动速度要比星火sql快。