我有一个处理大量I/O数据、数据库插入和状态检查的小项目。
我会解释我自己:
我每天都要读取数以百计的文本文件,位于磁盘中,每天都有特定的行格式,将这些行转换为对象,作为数据迁移任务。
稍后,我需要使用最近从Nuget包存储库下载的EF 6将读取存储在Server中。但是,在编写任何解决方案之前,我一直有一个疑问:
因为在此过程中,在一些批处理作业发生后,我希望避免不必要的查询,请求记录存在(避免重复或维护它们直到进一步消除)。
我有这样的想法:
每次插入所有输入,并定期删除重复的sql或my计划任务,或者每次插入时检查。考虑到它们是数以百计的记录,每次都要检查,而且每天都会这样做。
提前谢谢。
发布于 2014-01-06 16:58:02
我通常采取两步的方法。
然后,你可以决定处理所有,部分或没有。您甚至可以将错误记录留待以后检查等等,但主要的是,您现在拥有“基于set的sql操作”的功能,而不是强制执行rbar操作(逐行痛苦的行)。
https://stackoverflow.com/questions/20954426
复制相似问题