presto蜂窝转移连接

Question

在我的一个应用程序中，我一直在使用presto和hive-metastore从s3查询数据。为了在生产环境中配置hive-metastore (我将在docker上分别部署presto和hive )，我只想知道，presto是为并发查询创建多个hive-metastore连接，还是为所有并发查询创建单个hive - metastore连接？

例如，假设在我的应用程序中运行100个实例查询，那么是使用hive-metastore创建100个连接，还是只创建一个连接并对所有查询使用相同的连接？

我对所有这些东西都是新手，所以可能会遗漏一些明显的东西。提前谢谢。

Answer 1

Presto将为每个元存储操作创建一个与元存储的单独连接(Thrift RPC调用)。没有连接池或重用，因此连接是短暂的。在计划检索表元数据期间以及当查询运行以检索分区元数据时，访问元存储。对于表元数据，单个查询不应并发请求。对于分区元数据，并发是通过hive.split-loader-concurrency配置属性控制的，尽管这还包括列出文件系统上的文件。Metastore调用通常很快，因此并发连接的数量通常应该比并发Presto查询的数量少得多。