在hive上激发sql的目的是什么？

Question

我知道这个问题是几年前提出的，但我仍然想知道使用SparkSQL / HiveContext的真正目的是什么。

Spark方法提供了一种更通用的分布式方式，即内置MapReduce。

我读了很多文章，声称韦先生已经死了，而星火是最好的(我知道我可以通过星火来实施MR方法)。

当建议使用HiveContext查询数据时，我有点困惑。

实际上，从SparkSQL/HiveContext运行查询不是意味着运行MR job吗？这不是要回到主要的问题吗？如果我不需要用更复杂的代码封装查询结果，这难道不是不应该的吗？

我错了吗(我肯定是：-)？

Answer 1

实际上，从SparkSQL/HiveContext运行查询不是意味着运行MR job吗？

事实并非如此。事实上，使用带有"Hive支持“的HiveContext或SparkSession并不意味着与Hive有任何连接，只意味着使用Hive亚稳态。这种方法被许多其他系统使用，包括ETL解决方案和数据库。

最后：

• Hive是一个包含模块化组件的数据库。它支持相对丰富的权限系统、突变和事务。
• 火花是通用的加工引擎。尽管有SQL-ish组件，但它并不试图成为数据库。