我用的是knex,我的sql,
我有几个大型数据库,每个数据库中有几个表,其中一些表达到1000万行,有些则越来越少,
我希望更新每个表中的特定列值(让我们称其为value),其中包含一个在mySQL中不存在的函数(它只存在于我的代码中),而且我知道我需要分批进行更新,比如每次使用1,000或5,000或200,000行,然后更改整个数组的value,然后使用upSert查询来用新值更新行。
但是,每次从数据库获取数据时,我应该获取多少行(SELECT)?
每次要更新表中新计算的values时,应该更新多少行(values)?
效率和错误处理是这里的关键因素,我应该增加数据库的内存大小吗?cpu?我甚至可以吗?
我在mySQL文档中搜索过,没有发现任何东西,
我很想在这件事上有任何帮助
发布于 2022-07-06 18:27:38
批次在100到1000之间。对于类似的情况,这个范围是“甜蜜点”。不知道你的具体情况,我相信这个范围会很适合你。我预测,它将在“几%”的最优。
如果
如果
警告: SELECT ... OFFSET ...变得越来越慢;不要使用这种技术。相反,“记住你停下来的地方”。更多讨论:http://mysql.rjweb.org/doc.php/deletebig#deleting_in_chunks (这里的讨论可以适应更新和更新(IODKU))。
_size设置:
假设表是innodb_buffer_pool_size,的话,主要可调的是InnoDB,您应该使用的是InnoDB,它应该设置为大约70%的可用内存。如果您的整个磁盘占用空间(对于所有表)都小于buffer_pool,那么进一步增加设置(首先添加更多内存后)是没有用的。再一次,“收益递减”可能会出现。也就是说,在某种程度上,更多的RAM是不值得添加的。(这一点非常依赖于比这里讨论的更多的细节。)
join_buffer_size只与特定的SELECTs相关。让我们看看你的SELECT,加上EXPLAIN SELECT ...和SHOW CREATE TABLE。
同时,其他“大小”设置可能会保留在默认设置中。(有些(如table_cache_size,)与任务无关。
有多少核/CPU --大部分都不是问题。
您会尝试同时运行多线程(连接)吗?如果是这样的话,请详细说明;这涉及到另一组问题。
有多少大小的查询--“这取决于”。我可以在一张小桌上做一个简短的选择,这需要几天的时间。在另一个极端,我认为您可以在几乎任何MySQL安装上每秒执行100次“简单查询”。“简单意味着一个很好的索引,涉及的行很少。在HDD上写入(Insert/Update/Delete)超过100/秒(或在SSD上写入1000 )可能会变得困难。也就是说,您可能需要使用一些新手不太清楚的技术。
现在,让我们看看问题的根,“每次我想更新表中的新计算值?”要实现同样的目标,有几种“更好”的方法:
将数据放入另一个较小的表中,并将其连接到it.
这里我的观点是,“大更新”通常不是设计模式和数据流的最佳方法。
“我在documentation上搜索过,没有在上面找到任何东西,”是的,“参考手册”的设计是为了说明你能做什么,而不是你应该做什么。我的博客(如上面链接的博客)试图关注后者。
“一千万行”--你的问题在“10亿行”中变得更令人兴奋。
https://stackoverflow.com/questions/72840372
复制相似问题