首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >有没有一种设计模式可以帮助比较大量数据?

问有没有一种设计模式可以帮助比较大量数据?
EN

Stack Overflow用户
提问于 2012-06-20 23:05:50
回答 6查看 242关注 0票数 2

我需要比较位于不同服务器上的2个SQL表的特定内容: Table1和Table2。

我想将Table1中的每一行与Table2的整个内容进行比较。

比较逻辑有点复杂,所以我想应用一个逻辑运算符,我将用C#编写。因此,我不想对SQL查询本身进行比较。

我担心的是我要处理的数据的大小大约是200MB。

我在考虑使用ADO.Net将数据加载到DataTable中,并在内存中进行比较。

你有什么推荐的?是否已经有一种类似模式的方法来比较海量数据?

EN

回答 6

Stack Overflow用户

回答已采纳

发布于 2012-06-20 23:10:45

200MB应该不是问题。一个.NET应用程序可以一次处理更多的内容。

但即便如此,我可能会对表1使用只进数据读取器,因为没有充分的理由不这样做,这应该会减少所需的内存量。您可以将表2以您习惯的任何结构保存在内存中。

票数 2
EN

Stack Overflow用户

发布于 2012-06-20 23:08:07

您可以使用两个SqlDataReaders。它们在内存中一次只有一行,只能向前,而且效率极高。从读取器获取行之后,您可以比较这些值。下面是一个例子。

参见MSDN。

票数 1
EN

Stack Overflow用户

发布于 2012-06-20 23:16:14

最具伸缩性的解决方案是创建SQLCLR函数来执行您想要的比较。

您可能应该不惜一切代价避免逐行比较。由于往返导致的网络延迟和延迟将导致执行速度极慢。

一个快速而棘手的解决方案是将数据提取到本地文件,然后进行比较,因为您只需支付一次网络税。不幸的是,您失去了数据库索引和查询优化提供的加速。

一种类似的解决方案是将所有数据加载到内存中一次,然后使用字典等索引结构来提供额外的加速。这可能是可行的,因为您的数据可以放入内存中。您仍然只需支付一次网络税,但可以从更快的执行中获益。

最具伸缩性的解决方案是创建SQLCLR代码来创建一个或多个函数,这些函数将执行您想要的比较。这样就完全避免了网络税,避免了在内存中创建和优化自己的结构,并且可以利用索引和优化。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/11122480

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档