创建数据仓库

Question

目前，我们的团队有一个主要的数据库管理/数据管理问题，正在构建数百个数据库，并将其用于次要/一次性的应用程序，而应用程序实际上应该从现有的数据库中提取数据。

由于我们的安全非常严密，这些授权系统的所有者不会允许其他人以一致的(必要的应用程序)速率从他们那里提取数据，而是允许单个应用程序每周提取一次，然后将数据提供给组织。

我被要求将所有这些公开可用的数据(每周快照)汇编成一个数据仓库，供最终用户访问。实际上，我们谈论的是30-40个数据库，每个数据库有数十万条记录。

将其转变为数据仓库的最佳方式是什么？创建一个SQL服务器，并在服务器上将每个服务器视为自己的数据库？至于个人应用程序连接，我不太担心，我真的想知道存储所有数据以供消费的最佳实践是什么。

Answer 1

您所描述的更像是一个简单的数据湖。如果您所需要的只是现有数据的单一位置，那么可以肯定的是，直接将所有30-40个数据库拉到一个新服务器上就可以做到这一点。需要注意的一点是，如果他们创建的是Database Snapshots，那么在这里就没有什么用处了。使用实际的数据库备份，可以很容易地构建一个进程，将这些备份复制并恢复到您的新服务器。这是假设所有的源都在SQL Server上。

“数据仓库”意味着在此基础上的一定级别的组织，以便于报告多个源中的数据聚合。通常，您将标识数据库之间共享的任何概念，并为每个概念创建统一的表，然后创建ETL (提取、转换、加载)过程来标准化来自每个源的数据，并将其移动到这些统一的表中。对于一个人来说，这将是一个巨大的电梯。Ralph Kimball的The Data Warehouse Toolkit是一个全面的指南，您可以阅读大量的资源来开始使用它。

在这两种情况下，您可能需要研究一下SSIS工具。它非常适合跨服务器复制数据，并且具有支持多个不同RDBMS平台的驱动程序。您可以从SQL代理计划SSIS包。它还有其他可以帮助数据仓库的特性。