mysql批处理插入-大量记录

Question

我试图将多条记录一次性插入到MySQL表中。

我的技术栈是Nodejs+MySQL (https://www.npmjs.com/package/mysql)

我目前所做的是：

INSERT INTO table_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);

我上面的解决方案的问题是，当我有大约50k的记录时，MySQL缓冲区就会爆炸。

为此我改变了

max_allowed_packet = 1000MB

但我相信这不是一个适当的解决办法。我正在寻找最好的和优化的解决办法，在这个场景中可能。

任何线索或暗示都将受到高度赞赏。谢谢

Answer 1

由于许多原因(您遇到了其中的一个)，我一次将批处理插入分解为100或1000行的块。这将是在1%的速度，同时避免了许多问题。