如何知道我目前使用的是哪个执行引擎

Question

我想要自动化我的hive工作流，因为内存限制，我需要在执行引擎(Tez或MR)的基础上执行单元作业。

请你帮忙，因为我想交叉检查我的整个工作流程，执行引擎，我目前正在处理的。

提前谢谢。

Answer 1

Hive执行引擎由hive.execution.engine属性控制。它可以是下列任何一种：

• mr (地图减少，默认)
• tez (Tez执行，仅适用于Hadoop 2)
• spark (星火执行，用于Hive 1.1.0继续执行)。

可以使用hive/beeline cli读取和更新该属性。

• 用于阅读- SET hive.execution.engine;
• 用于更新- SET hive.execution.engine=tez;

如果您想以编程方式获取这个值，您必须选择HiveClient，它支持多种方式，如JDBC、Java、Python、PHP、Ruby、C++等等。

参考文献

• https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=82903061#ConfigurationProperties-hive.execution.engine
• https://cwiki.apache.org/confluence/display/Hive/HiveClient