我正在尝试编写一个VB.Net程序,每天将1-200万条5字段记录(加上一个索引ID)保存到一个MSAccess表中。节省的过程目前需要13-20个小时,这显然不可能是正确的。
它是一个索引最少的扁平表,目前只有156MB。除了一个双精度字段外,这些字段都是小字符串、日期或长整型。磁盘本身是15,000个SATA,仅用于此文件。在保存例程期间,计算机和程序不执行任何其他操作。save例程是一个简单的FOR-NEXT循环,它为dataset中的每条记录发出简短而简单的INSERT语句。
有谁知道我需要做些什么来让它更好的工作吗?
发布于 2008-11-29 20:38:27
可以在任何DBMS上大幅加快插入速度的一个技巧是,在批量插入数据之前暂时禁用索引、外键和约束,然后在数据库中的数据之后再次启用它们。
特别是,对于顺序插入来说,索引可能是性能杀手,它的速度至少快一个数量级(有时是2!)首先填充表,然后在已经填充的数据上创建索引,而不是插入索引。在这种情况下,您可能需要删除索引,然后重新创建它。
如果在完全不加锁或仅使用乐观加锁的情况下打开表,您将获得较小的速度改进。
然后,通过使用DAO记录集而不是ADO,您可能会获得另一个微小的增量-早在我用VB6开发的时候,我就注意到了这一点,对于ADO.NET,可能不再是这样了
发布于 2008-11-29 18:31:16
您真的应该管理大容量插入。每次插入都有一堆开销,通过在For next循环中一次做一行,您正在浪费超过2/3rds的计算机能力。Kibbee建议将数据写入csv文件,然后将其转储到数据库,如果需要写下数据,这是一个很好的方法。我建议一次在内存中收集几分钟的数据。
发布于 2008-11-29 23:16:03
好了,吃完一顿长长的午餐回来。
保罗,皮内达,你们关于索引PK是问题的建议是正确的。摆脱了索引,它突然间每分钟存储40,000条记录,速度足够在一个小时内完成一整天的工作。而且它根本不会影响使用数据的应用程序的速度。
剩下的大方的朋友们。我会在今天剩下的时间里认真研究你的建议,希望能得到更好的结果。
你帮了我大忙。我欠你们一杯啤酒。
https://stackoverflow.com/questions/327658
复制相似问题