提高配置单元jdbc的性能

Question

是否有人知道如何提高配置单元JDBC连接的性能。

详细问题：

当我从hive CLI查询Hive时，我在7秒内得到了响应，但从HIVE JDBC connection我在14秒后得到了响应。我想知道是否有任何方法(配置更改)可以提高通过JDBC连接进行查询的性能。

提前谢谢。

Answer 1

使用连接池帮助我提高了hive JDBC性能。正如在hive中一样，在查询时会发生许多转换，因此使用连接池中的现有连接对象而不是打开新的连接并关闭每个请求是非常有帮助的。

如果其他人遇到同样的问题，请让我知道是否会张贴详细的答案。

Answer 2

你可以试试下面的选项吗？

如果查询有连接，请尝试将hive.auto.convert.join设置为true.

参考：

1. 尝试更改Java Heap Size 垃圾收集的配置

1. 将执行引擎更改为Tez using set hive.execution.engine=tez以检查当前设置引擎使用Tez

其他配置单元性能配置提示可在中找到

请让我知道结果。

Answer 3

为了提高jdbc连接的性能，可以使用标准的jdbc性能改进特性-、连接池、预准备语句池(从JDBC3.0开始)通过更改这些配置参数来改进hive cli的性能。

-- enable cost based optimizer
set hive.cbo.enable=true;
set hive.compute.query.using.stats=true;
set hive.stats.fetch.column.stats=true;
set hive.stats.fetch.partition.stats=true;

--collects statistics
analyze table <TABLENAME> compute statistics for columns;

--enable vectorization of queries.
set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled = true;

希望这些能帮上忙