首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将复杂对象大容量插入Server数据库

问如何将复杂对象大容量插入Server数据库
EN

Stack Overflow用户
提问于 2014-01-06 16:24:33
回答 1查看 491关注 0票数 0

我有一个处理大量I/O数据、数据库插入和状态检查的小项目。

我会解释我自己:

我每天都要读取数以百计的文本文件,位于磁盘中,每天都有特定的行格式,将这些行转换为对象,作为数据迁移任务。

稍后,我需要使用最近从Nuget包存储库下载的EF 6将读取存储在Server中。但是,在编写任何解决方案之前,我一直有一个疑问:

因为在此过程中,在一些批处理作业发生后,我希望避免不必要的查询,请求记录存在(避免重复或维护它们直到进一步消除)。

我有这样的想法:

每次插入所有输入,并定期删除重复的sql或my计划任务,或者每次插入时检查。考虑到它们是数以百计的记录,每次都要检查,而且每天都会这样做。

提前谢谢。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2014-01-06 16:58:02

我通常采取两步的方法。

  1. 将文件中的记录解析为所需的形状。
  2. 将分析过的记录插入辅助表中。此表通常不具有“real表”的约束,并且有一些额外的列来保存验证标志。
  3. 上传后,启动一个存储过程,该过程检查记录并用可能的无效原因对它们进行注释。

然后,你可以决定处理所有,部分或没有。您甚至可以将错误记录留待以后检查等等,但主要的是,您现在拥有“基于set的sql操作”的功能,而不是强制执行rbar操作(逐行痛苦的行)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/20954426

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档