首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >星星之火上的星星之火

星星之火上的星星之火
EN

Stack Overflow用户
提问于 2016-08-08 03:22:03
回答 1查看 982关注 0票数 1

火花-SQL和星火上的蜂巢的区别。我正在浏览星火和sql的文档,并试图理解Spark和星火上的蜂巢之间的区别。

  1. 考虑一种情况,当我在没有的情况下启动星火会话--任何明显的单元支持,比如复制hive-site.xml,然后将表持久化到我的spark程序中,数据和元数据将存储在哪里。火花会创造一个新的蜂巢Metastore (像德比)吗?
  2. 考虑一种情况,当我启动一个星星之交时,它支持单元,比如复制hive-ste.xml并使spark意识到现有的蜂巢。然后,如果我持久化,表将数据和元数据存储在我现有的Hive Metastore中,数据存储在HDFS的Warehouse目录中。
  3. 如果我通过将执行引擎属性更改为Spark来运行HIVE,那么它是否与上面提到的案例2相同?

谢谢。

EN

回答 1

Stack Overflow用户

发布于 2016-10-27 18:00:48

  1. 当您启动火花会话时,可以将数据存储在S3中,否则如果不显式地创建Hive会话,HDFS.It就不会固有地创建一个Hive会话。
  2. 是的,如果您使用引用Hive表的'saveastable‘子句。数据将在HDFS中持久化。请记住,如果您删除HDFS实例,例如在EMR中,表将与其数据一起删除。

不确定问题3

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38820847

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档