PostgreSQL 14
PHP 7.4
我有一个PHP调用,它返回一个可滚动游标(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL)的句柄,其中包含约76万条记录。句柄将在合理的时间内返回。但是,一旦我拿回句柄,只需在循环中获取每条记录就需要超过12分钟。我已经尝试了它作为一个只向前游标与类似的结果。我在高性能处理器上,内存丰富。每个记录有181个数字字段。我如何提高这方面的性能?
$first = true;
while($rec = $handle->fetch(PDO::FETCH_ASSOC, $first ? PDO::FETCH_ORI_FIRST : PDO::FETCH_ORI_NEXT))
{
$first = false;
}回答问题的最新情况:
客户端与服务器之间的
网络距离?
零。两者都在本地主机上。
在数据库层或应用程序前端中测量返回时间的位置?
从执行查询的时间到返回句柄的时间。拿到手柄就行了。一旦启动,获取循环本身就会花费很长时间。PHP正在测量fetch循环执行时间。
:您需要一个接一个地取还是可以分批取?
我可以分批处理这些批,但是基本的查询非常重,反复运行以获得偏移量是不太好的。
发布于 2021-10-31 05:18:20
尝试在psql命令行上运行语句。
如果速度也很慢,您必须使用EXPLAIN (ANALYZE, BUFFERS)来理解原因(并将执行计划添加到问题中以获得进一步的帮助)。
如果在psql中速度很快,那么问题要么是760000次客户机-服务器往返,要么是您没有将cursor_tuple_fraction设置为1.0。
https://stackoverflow.com/questions/69774655
复制相似问题