首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >哈希索引与btree索引在插入和更新中的性能

问哈希索引与btree索引在插入和更新中的性能
EN

Database Administration用户
提问于 2020-02-12 07:45:05
回答 3查看 2.9K关注 0票数 1

我有一张比可用内存大几倍的桌子。表大小为181 GB,9200万行。PostgreSQL 10.

表中有带有uuid的字段。而且需要不时地将几百行插入到表中。

有什么更好,哈希索引或b-树索引用于快速插入?这个表实际上从来不读,它只是存储存档信息。索引仅用于检查具有相同uuid的表中没有行的内容。

目前,插入工作非常慢。插入100万行现在工作超过4个小时,仍在运行。通常情况下,它的工作时间大约为5个小时。

该查询如下所示:

代码语言:javascript
复制
insert into TableName (...)
select [list of fields]
from table_data_forinsert;

没有where条件,源表只包含需要插入的数据。如何更快地插入?

我考虑创建btree索引,并在插入之前通过uuid对数据进行排序。它是否有助于提高btree索引的性能?或者有可能做些别的事情来提高性能呢?我不想使表未登录,有必要不要丢失数据。

是否有任何方法可以使哈希索引的插入速度更快?

更新的问题也是一样的。如果大表中有数十万行的更新,那么更新、b树索引或散列索引的速度更快吗?有什么方法可以使更新更快吗?就像源表中的数据排序之类的?

EN

回答 3

Database Administration用户

发布于 2020-02-12 07:55:14

当涉及到数据修改的速度时,B树索引将是最好的。

没有办法显著提高插入几百行的速度。

如果需要唯一性保证,则不能没有索引,因此没有多少改进余地。

票数 1
EN

Database Administration用户

发布于 2020-02-12 08:57:09

  1. 对于大数据操作,您可以尝试复制而不是插入。副本是为大容量数据加载而设计的。在postgresql 11用户手册14.1填充数据库中,建议使用copy命令。当我使用蟒蛇熊猫时,使用或不使用复制命令的速度差异是10倍。因此,对于您的情况,如果您使用复制命令,速度也可以加快。但是,复制命令并不像insert那样方便。或者你需要先学会它
  2. 如果需要更多的速度,可以先删除索引,然后插入数据,然后重建索引。
  3. 或者尝试第三方加载工具,如pgload等。
票数 0
EN

Database Administration用户

发布于 2020-02-12 14:25:41

他们之间一般没有太大的差别。散列索引不需要遍历中间页才能像btree那样到达叶页,但是由于这些中间页几乎肯定会被缓存,这在实践中几乎没有什么区别。

哈希索引可能更小,这将使其更易于缓存。您提到的表比RAM大得多,但是索引呢?

另一方面,使用btree,您可以在插入UUID之前按UUID对记录进行排序,这将使记录以一种不同的方式更加友好,只要批处理大小很大。如果批次大小很小(“几百”),可能不会有任何差别。

最终,加快速度的方法要么是取消唯一的约束(您多久尝试插入副本并被拒绝?)偶尔重复会带来什么后果?),或者获得更快的存储硬件。

票数 0
EN
页面原文内容由Database Administration提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://dba.stackexchange.com/questions/259477

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档