我有一个表(让我们称它为表A),其中大约有2亿行。在执行查询时,我需要根据调用者的授权对查询请求进行范围调整,这是他们可以看到的记录I的列表。问题有两方面:
由于与业务相关的原因,授权列表不能存储在数据库中,需要通过查询以某种方式传递。授权列表大小的
。
在这个授权范围内进行查询的最有效的方式是什么?它对IN子句来说太大了,但我可能错了。
发布于 2021-02-15 16:48:54
您可以创建一个包含这些标识符的临时表并与该表连接。确保显式地ANALYZE表。才能得到像样的执行计划。
如果这比一个庞大的IN列表要好的话,我会运行一些性能测试。我想大名单会的。
我认为你的设计有问题,如果你必须通过这样庞大的名单。通过这种方式,您永远不会获得很好的性能--只需将这么多数据发送到数据库就需要时间并对您的网络资源征税,当然,数据库也必须消化这些数据。
发布于 2021-02-15 18:53:09
PostgreSQL不实现散列(或二进制搜索)在列表中的操作.如果IN列表作为索引条件出现,则可能运行良好。但是,如果它作为筛选条件出现,则评估每一行是否满足IN-list将涉及对所考虑的每一行迭代整个IN-list (如果不满意)或超过IN-列表的1/2 (如果满足的话)。如果行数很大,这就会很糟糕。
将其作为一个值-列表的联接来编写在语法上是很烦人的,但是它的性能可能会更好。或者作为临时表的联接,在前面的步骤中填充和分析该表。或者重新审视你的商业相关原因,看看它们是否能被修复。
select sum(b) from foo where c in (1,8,19/*,...*/)vs
select sum(b) from foo join (values (1),(8),(19)/*,...*/) f(x) on c=x请注意,一般来说,性能是一个在不同版本之间发生变化的领域,因此您确实应该指定您的版本。一些假设的未来版本甚至可能实现一个散列的IN-list,尽管我不会为此屏住呼吸。
https://stackoverflow.com/questions/66211698
复制相似问题