我需要比较位于不同服务器上的2个SQL表的特定内容: Table1和Table2。
我想将Table1中的每一行与Table2的整个内容进行比较。
比较逻辑有点复杂,所以我想应用一个逻辑运算符,我将用C#编写。因此,我不想对SQL查询本身进行比较。
我担心的是我要处理的数据的大小大约是200MB。
我在考虑使用ADO.Net将数据加载到DataTable中,并在内存中进行比较。
你有什么推荐的?是否已经有一种类似模式的方法来比较海量数据?
发布于 2012-06-20 23:10:45
200MB应该不是问题。一个.NET应用程序可以一次处理更多的内容。
但即便如此,我可能会对表1使用只进数据读取器,因为没有充分的理由不这样做,这应该会减少所需的内存量。您可以将表2以您习惯的任何结构保存在内存中。
发布于 2012-06-20 23:08:07
您可以使用两个SqlDataReaders。它们在内存中一次只有一行,只能向前,而且效率极高。从读取器获取行之后,您可以比较这些值。下面是一个例子。
参见MSDN。
发布于 2012-06-20 23:16:14
最具伸缩性的解决方案是创建SQLCLR函数来执行您想要的比较。
您可能应该不惜一切代价避免逐行比较。由于往返导致的网络延迟和延迟将导致执行速度极慢。
一个快速而棘手的解决方案是将数据提取到本地文件,然后进行比较,因为您只需支付一次网络税。不幸的是,您失去了数据库索引和查询优化提供的加速。
一种类似的解决方案是将所有数据加载到内存中一次,然后使用字典等索引结构来提供额外的加速。这可能是可行的,因为您的数据可以放入内存中。您仍然只需支付一次网络税,但可以从更快的执行中获益。
最具伸缩性的解决方案是创建SQLCLR代码来创建一个或多个函数,这些函数将执行您想要的比较。这样就完全避免了网络税,避免了在内存中创建和优化自己的结构,并且可以利用索引和优化。
https://stackoverflow.com/questions/11122480
复制相似问题