首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >(knex/mysql)如何按块更新一个非常大的表?

问(knex/mysql)如何按块更新一个非常大的表?
EN

Stack Overflow用户
提问于 2022-07-02 15:43:13
回答 1查看 202关注 0票数 1

我用的是knex,我的sql,

我有几个大型数据库,每个数据库中有几个表,其中一些表达到1000万行,有些则越来越少,

我希望更新每个表中的特定列值(让我们称其为value),其中包含一个在mySQL中不存在的函数(它只存在于我的代码中),而且我知道我需要分批进行更新,比如每次使用1,000或5,000或200,000行,然后更改整个数组的value,然后使用upSert查询来用新值更新行。

但是,每次从数据库获取数据时,我应该获取多少行(SELECT)?

每次要更新表中新计算的values时,应该更新多少行(values)?

效率和错误处理是这里的关键因素,我应该增加数据库的内存大小吗?cpu?我甚至可以吗?

我在mySQL文档中搜索过,没有发现任何东西,

我很想在这件事上有任何帮助

EN

回答 1

Stack Overflow用户

发布于 2022-07-06 18:27:38

批次在100到1000之间。对于类似的情况,这个范围是“甜蜜点”。不知道你的具体情况,我相信这个范围会很适合你。我预测,它将在“几%”的最优。

如果

  • 不足100,您将支付更多的开销,因为往返服务器的次数更多。

如果

  • 超过1000,您将处于“递减收益”状态,并有可能达到极限(如所提到的)。由于各种或各种原因(锁定、撤消日志处理等),超过1000的范围实际上可能会降低性能。

警告: SELECT ... OFFSET ...变得越来越慢;不要使用这种技术。相反,“记住你停下来的地方”。更多讨论:http://mysql.rjweb.org/doc.php/deletebig#deleting_in_chunks (这里的讨论可以适应更新和更新(IODKU))。

_size设置:

假设表是innodb_buffer_pool_size,的话,主要可调的是InnoDB,您应该使用的是InnoDB,它应该设置为大约70%的可用内存。如果您的整个磁盘占用空间(对于所有表)都小于buffer_pool,那么进一步增加设置(首先添加更多内存后)是没有用的。再一次,“收益递减”可能会出现。也就是说,在某种程度上,更多的RAM是不值得添加的。(这一点非常依赖于比这里讨论的更多的细节。)

join_buffer_size只与特定的SELECTs相关。让我们看看你的SELECT,加上EXPLAIN SELECT ...和SHOW CREATE TABLE。

同时,其他“大小”设置可能会保留在默认设置中。(有些(如table_cache_size,)与任务无关。

有多少核/CPU --大部分都不是问题。

您会尝试同时运行多线程(连接)吗?如果是这样的话,请详细说明;这涉及到另一组问题。

有多少大小的查询--“这取决于”。我可以在一张小桌上做一个简短的选择,这需要几天的时间。在另一个极端,我认为您可以在几乎任何MySQL安装上每秒执行100次“简单查询”。“简单意味着一个很好的索引,涉及的行很少。在HDD上写入(Insert/Update/Delete)超过100/秒(或在SSD上写入1000 )可能会变得困难。也就是说,您可能需要使用一些新手不太清楚的技术。

现在,让我们看看问题的根,“每次我想更新表中的新计算值?”要实现同样的目标,有几种“更好”的方法:

将数据放入另一个较小的表中,并将其连接到it.

  • "generated“(虚拟或持久)列中。

这里我的观点是,“大更新”通常不是设计模式和数据流的最佳方法。

“我在documentation上搜索过,没有在上面找到任何东西,”是的,“参考手册”的设计是为了说明你能做什么,而不是你应该做什么。我的博客(如上面链接的博客)试图关注后者。

“一千万行”--你的问题在“10亿行”中变得更令人兴奋。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72840372

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档