首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >比较从Oracle到SQL server的数百万条记录

问比较从Oracle到SQL server的数百万条记录
EN

Stack Overflow用户
提问于 2016-01-15 06:09:49
回答 5查看 2.4K关注 0票数 9

我有一个Oracle数据库和一个Server数据库。有一个表,比如Inventory,它在两个数据库表中都包含了数百万行,而且它还在不断增长。

我希望将Oracle表数据与Server数据进行比较,以找出SQL Server表中每天丢失哪些记录。

哪种方法是最好的方法?

  1. 创建SSIS包。
  2. 创建Windows服务。

我想消耗更少的资源来实现这个功能,这需要更少的时间和更少的资源。

例句:在oracle中有1800万条记录,在Server中有16/1700万条记录

出现两个不同数据库的情况是因为两个不同的应用程序联机和脱机。

编辑:如何将SQL server从oracle连接到SQL server

1)从Oracle直接查询SQL服务器,第一次更新SQL服务器中丢失的记录。

2)在Oracle上创建一个触发器,在从Oracle中删除记录时执行该触发器,并在新的oracle表中插入已删除的记录。

3)创建SSIS包,用server映射新创建的oracle表,以更新server record.This方式,每天只需处理很少的记录。

你觉得这种方法怎么样?

EN

回答 5

Stack Overflow用户

发布于 2016-01-17 21:51:04

我将创建一个SSIS包,并使用数据流/ OLE DB数据源从Oracle表加载数据。如果您有,则的速度要快一些。

然后,我将将键从Server表加载到一个查找转换中,在该转换中,我将匹配键上的两个源,并将不匹配的行定向到单独的输出中。

最后,我将将不匹配的行输出定向到OLE命令,以更新Server表。

这个SSIS包将需要大量内存,但是由于匹配是在内存中以最小IO完成的,在速度上它可能会优于其他解决方案。它将需要足够的空闲内存来缓存Server表中的所有键。

SSIS的优点还在于,如果以后需要,它还有很多其他转换函数可用。

票数 1
EN

Stack Overflow用户

发布于 2016-01-20 01:33:04

基本上,您想要做的是从Oracle复制到Server。

您可以在SSIS、windows服务或多种平台中这样做。真正的诀窍是使用正确的设计模式。

有两种通用的设计模式

  1. 快照复制

您可以从两个系统中提取所有的记录,并在某个地方进行比较(到目前为止,我们有建议在SSIS中进行比较,或者在Oracle上进行比较,但还没有建议在Server上进行比较,尽管这是有效的)

你正在比较这里的1800万张记录,所以这是一个很大的工作量。

  1. 差动复制

记录自上次复制以来发布服务器(即Oracle)中的更改,然后将这些更改应用于订阅服务器(即Server)

您可以在Oracle端手动实现触发器和日志表,然后使用常规ETL进程(SSIS、命令行工具、文本文件等),可能是在SQL代理中计划将这些进程应用于Server。

也可以使用开箱即用的复制功能将Oracle设置为发布服务器,并将SQL设置为订阅服务器:https://msdn.microsoft.com/en-us/library/ms151149(v=sql.105).aspx。

你必须尝试其中的一些,看看什么对你有用。

鉴于这一目标:

我希望消耗更少的资源来实现这个功能,这需要更少的时间和更少的资源。

事务复制的效率要高得多,但复杂得多。出于维护目的,哪些平台(.Net、SSIS、Python等)你觉得最舒服吗?

票数 1
EN

Stack Overflow用户

发布于 2016-01-17 17:10:04

其他替代办法:

如果可以将Oracle网关用于Server,则不需要传输数据并可以直接进行查询。

如果不能使用Oracle网关,则可以使用宾得数据集成或其他ETL工具来比较表并获得结果。很容易使用。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/34805268

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档