我有一个Oracle数据库和一个Server数据库。有一个表,比如Inventory,它在两个数据库表中都包含了数百万行,而且它还在不断增长。
我希望将Oracle表数据与Server数据进行比较,以找出SQL Server表中每天丢失哪些记录。
哪种方法是最好的方法?
我想消耗更少的资源来实现这个功能,这需要更少的时间和更少的资源。
例句:在oracle中有1800万条记录,在Server中有16/1700万条记录
出现两个不同数据库的情况是因为两个不同的应用程序联机和脱机。
编辑:如何将SQL server从oracle连接到SQL server
1)从Oracle直接查询SQL服务器,第一次更新SQL服务器中丢失的记录。
2)在Oracle上创建一个触发器,在从Oracle中删除记录时执行该触发器,并在新的oracle表中插入已删除的记录。
3)创建SSIS包,用server映射新创建的oracle表,以更新server record.This方式,每天只需处理很少的记录。
你觉得这种方法怎么样?
发布于 2016-01-17 21:51:04
我将创建一个SSIS包,并使用数据流/ OLE DB数据源从Oracle表加载数据。如果您有,则的速度要快一些。
然后,我将将键从Server表加载到一个查找转换中,在该转换中,我将匹配键上的两个源,并将不匹配的行定向到单独的输出中。
最后,我将将不匹配的行输出定向到OLE命令,以更新Server表。
这个SSIS包将需要大量内存,但是由于匹配是在内存中以最小IO完成的,在速度上它可能会优于其他解决方案。它将需要足够的空闲内存来缓存Server表中的所有键。
SSIS的优点还在于,如果以后需要,它还有很多其他转换函数可用。
发布于 2016-01-20 01:33:04
基本上,您想要做的是从Oracle复制到Server。
您可以在SSIS、windows服务或多种平台中这样做。真正的诀窍是使用正确的设计模式。
有两种通用的设计模式
您可以从两个系统中提取所有的记录,并在某个地方进行比较(到目前为止,我们有建议在SSIS中进行比较,或者在Oracle上进行比较,但还没有建议在Server上进行比较,尽管这是有效的)
你正在比较这里的1800万张记录,所以这是一个很大的工作量。
记录自上次复制以来发布服务器(即Oracle)中的更改,然后将这些更改应用于订阅服务器(即Server)
您可以在Oracle端手动实现触发器和日志表,然后使用常规ETL进程(SSIS、命令行工具、文本文件等),可能是在SQL代理中计划将这些进程应用于Server。
也可以使用开箱即用的复制功能将Oracle设置为发布服务器,并将SQL设置为订阅服务器:https://msdn.microsoft.com/en-us/library/ms151149(v=sql.105).aspx。
你必须尝试其中的一些,看看什么对你有用。
鉴于这一目标:
我希望消耗更少的资源来实现这个功能,这需要更少的时间和更少的资源。
事务复制的效率要高得多,但复杂得多。出于维护目的,哪些平台(.Net、SSIS、Python等)你觉得最舒服吗?
发布于 2016-01-17 17:10:04
其他替代办法:
如果可以将Oracle网关用于Server,则不需要传输数据并可以直接进行查询。
如果不能使用Oracle网关,则可以使用宾得数据集成或其他ETL工具来比较表并获得结果。很容易使用。
https://stackoverflow.com/questions/34805268
复制相似问题