从多个SQL servers导入数据

Question

我们正在考虑从合作伙伴的Microsoft SQL Server收集数据，并将其导入到我们自己的SQL Server中。我们想要做的一部分是将他们的所有数据分开，然后将它们组合在一起，这样我们就可以创建基准，了解他们彼此之间的表现如何。我很想知道有什么最佳实践或建议可以实现这一点？

我能想到的最简单的方法是将它们设置为SQL Server上的链接服务器，然后编写存储过程(并使用SQL Server代理自动执行计划)，将数据从每个表导入到本地表。我也开始寻找第三方系统来做这件事(例如，stitchdata)，但我没有看到会在本地导入数据的系统，它们中的大多数似乎都将数据导入到云数据库解决方案中。

以前有没有人做过类似的事情，可以帮助我们朝着正确的方向前进？

谢谢!

Answer 1

要使用SQL工具解决此问题，一种方法是创建一个临时数据库来加载所有外部信息。

要收集数据，您可以使用SSIS包直接连接到源。并在SQL ServerAgent上计划包。

我避免使用链接服务器来ETL提议有很多原因，但对我来说最重要的是：

• 如果远程服务器不可用，则所有的ETL进程都可能中断。
• 该过程将与源文件紧密相关，如果源文件发生更改，您将需要重建许多内容。

您可以使用或不使用SP来加载和比较最终数据库和阶段之间的表。这将取决于数据库是否在同一服务器上、性能等。