数据仓库-构建ETL模板

Question

我的公司正试图建立一个庞大的企业数据仓库，我们公司决定聘请一家咨询公司来建立它。想出一个ETL模板需要多长时间？我们正在构建一个sql server 2012数据仓库。我们正处于获得项目计划的阶段，我们对数据仓库周期非常陌生。任何帮助都将不胜感激。

Answer 1

提出ETL模板的时间框架主要取决于架构师的经验。然而，根据数据的复杂程度，大致的时间范围应该在6个月到一年之间。DataStage和Ab是一些很好的ETL技术，可以在企业环境中实现。

咨询公司首先应该能够评估ETL系统在其使用期间的可伸缩性。他们必须能够理解您提到的SLA中必须处理的数据量。从任何地方提取数据的可用时间都会发生变化。有些ETL系统必须扩展到处理兆字节的数据，以便用数十兆字节的数据更新数据仓库。不断增加的数据量可能需要能够从每日批量处理到多天处理的设计。

我个人建议您询问咨询公司是否可以在尝试提出ETL解决方案的同时实现并行处理，因为它将帮助您轻松地适应未来的需求，同时加快ETL过程。

因此，在定义模板的时间框架方面至关重要的因素是: 1.了解仓库表的约束和引用完整性。2.需要处理的数据量。3. ETL过程将用于的各种目的。

另一个您应该主要关注的主要因素是花费足够的时间来分析需求，因为您可能不希望经常回溯或更改解决方案的方法。

祝好运!

Answer 2

你需要考虑几件事：

• 数据来源数目
• 数据源的复杂性
• 数据质量
• 需要错误处理和日志记录
• 所需业绩水平

影响ETL模型的还有围绕数据仓库本身的复杂性的需求，因为复杂的模型将使您的ETL上的需求复杂化。

我还认为，在设计您的ETL框架时，将一些工作放在前面是有好处的，并尽量使其尽可能“动态”，因为您不希望在项目结束时对数百个ETL包/流程进行更改。

如果没有太多的信息，我会说你会在2周(对于更简单的项目)到3个月(对于复杂的项目)之间看一些东西。