我使用存储在文件中的数百万条insert语句将数据插入到数据库中。是逐行插入还是批量插入更好?我不知道会有甚麽影响。对这个方法有什么建议吗?现在,我正在一次执行这些语句中的50K。
发布于 2013-11-08 18:32:33
一般来说,如果您知道插入不会因为某些原因(即无效数据等)而失败,那么批量插入会更好。如果您逐行进行,您所做的就是打开数据连接,添加行,关闭数据连接。漂洗,在你的情况下重复数万次(或更多?)相对于打开一次连接,一次性转储所有数据,然后关闭一次连接,这是一个巨大的性能打击。如果您的数据不是一组干净的数据,您可能会更好地逐行进行,因为如果要清理数据,则批量插入不会失败。
发布于 2013-11-08 20:14:00
如果您正在使用SSIS,我建议将数据流任务作为另一种可能的途径。这将允许您将数据从平面文本文件、SQL表或其他源中移动,并将其映射到新表中。我发现,性能总是很好的,我经常使用它。
如果您的表不是在插入之前创建的,那么我所做的就是使用表创建查询(CREATE TABLE....etc)将一个Execute函数拖到我的进程中。并更新数据流函数上的属性以延迟验证。
只要我的数据结构是一致的,这是可行的。这里有几张截图。


发布于 2013-11-08 19:11:13
您肯定应该使用大容量插入,而不是逐行插入。BULK INSERT是为将文本文件中的数据导入Server而设计的进程内方法,它是数据加载性能指南联机文章中描述的其他方法之一。
https://stackoverflow.com/questions/19865990
复制相似问题