我有一张比可用内存大几倍的桌子。表大小为181 GB,9200万行。PostgreSQL 10.
表中有带有uuid的字段。而且需要不时地将几百行插入到表中。
有什么更好,哈希索引或b-树索引用于快速插入?这个表实际上从来不读,它只是存储存档信息。索引仅用于检查具有相同uuid的表中没有行的内容。
目前,插入工作非常慢。插入100万行现在工作超过4个小时,仍在运行。通常情况下,它的工作时间大约为5个小时。
该查询如下所示:
insert into TableName (...)
select [list of fields]
from table_data_forinsert;没有where条件,源表只包含需要插入的数据。如何更快地插入?
我考虑创建btree索引,并在插入之前通过uuid对数据进行排序。它是否有助于提高btree索引的性能?或者有可能做些别的事情来提高性能呢?我不想使表未登录,有必要不要丢失数据。
是否有任何方法可以使哈希索引的插入速度更快?
更新的问题也是一样的。如果大表中有数十万行的更新,那么更新、b树索引或散列索引的速度更快吗?有什么方法可以使更新更快吗?就像源表中的数据排序之类的?
发布于 2020-02-12 07:55:14
当涉及到数据修改的速度时,B树索引将是最好的。
没有办法显著提高插入几百行的速度。
如果需要唯一性保证,则不能没有索引,因此没有多少改进余地。
发布于 2020-02-12 08:57:09
发布于 2020-02-12 14:25:41
他们之间一般没有太大的差别。散列索引不需要遍历中间页才能像btree那样到达叶页,但是由于这些中间页几乎肯定会被缓存,这在实践中几乎没有什么区别。
哈希索引可能更小,这将使其更易于缓存。您提到的表比RAM大得多,但是索引呢?
另一方面,使用btree,您可以在插入UUID之前按UUID对记录进行排序,这将使记录以一种不同的方式更加友好,只要批处理大小很大。如果批次大小很小(“几百”),可能不会有任何差别。
最终,加快速度的方法要么是取消唯一的约束(您多久尝试插入副本并被拒绝?)偶尔重复会带来什么后果?),或者获得更快的存储硬件。
https://dba.stackexchange.com/questions/259477
复制相似问题