PyHive忽略Hive配置

Question

我断断续续地收到错误消息

由于VERTEX_FAILURE，DAG没有成功。

当通过PyHive运行Hive查询时。Hive运行在一个EMR集群上，为此，在hivesite.xml文件中将hive.vectorized.execution.enabled设置为false。

我可以通过在Hive连接上的配置来设置上面的属性，而且每次执行它时，我的查询都会成功地运行，但是我想确认这已经解决了问题，并且hive-site.xml确实被忽略了。

是否有人能确认这是否是预期的行为，或者是否有任何方法通过PyHive检查Hive配置，因为我还没有找到任何方法来做到这一点？

谢谢!

Answer 1

PyHive是一个连接到HiveServer2的瘦客户机，就像Java或C客户机(通过JDBC或ODBC)一样。它不使用本地机器上的任何Hadoop配置文件。HS2会话从服务器端设置的任何属性开始。

ImPyla BTW也是如此。

因此，您有责任从Python代码中设置自定义会话属性，例如执行以下语句.

SET hive.vectorized.execution.enabled =False

..。在运行SELECT之前。