ETL体系结构

Question

我被要求制作一个ETL风格的应用程序，将信息从一个数据源传输到另一个数据源。目前，我已经决定使用三层体系结构，但我想了解更多关于最佳实践以及这个wikipedia页面描述的生命周期的信息：

http://en.wikipedia.org/wiki/Extract,_transform,_load

ETL体系结构设计的四层方法

• Functional层：核心功能的ETL处理(提取、转换和load).
• Operational管理层：作业流定义和管理、参数、调度、监视、通信和alerting.
• Audit，平衡和控制层：作业执行统计、平衡和控制、拒绝和错误处理、代码management.
• Utility层：支持所有其他层的公共组件)。

真实ETL循环

典型的实际ETL循环由以下执行步骤组成：

initiation

• Build reference data

• 提取(来自sources)

• Validate

• Transform (清洁，应用业务规则，检查数据完整性，创建聚合或disaggregates)

• Stage (加载到暂存表，如果使用)

• 审计报告(例如，关于遵守业务规则)。此外，在失败的情况下，帮助diagnose/repair)

• Publish (针对tables)

• Archive

• Clean up

)

Answer 1

我不知道您的情况或您的需求是什么，但您可能是过度思考的问题。

唯一的名字是“这个”架构：

• Extract
• Transform
• Load

将DB表导出到CSV可以被认为是"ET“，而加载CSV是"L”。大多数ETL问题并不复杂。

除此之外，您应该获取Java、免费和商业、库和全船处理系统中已经提供的100万或200万ETL和ESB包中的任何一个，只需采用您最喜欢的其中一个。

拿一块白板，把一些气泡和行串在一起，然后把它交给代码。

Answer 2

回答这个问题，“最佳实践是什么？”答案取决于你想要完成什么。

为了简化，让我们假设您正在执行以下操作之一：

1. 您正在构建一个数据仓库，该数据仓库将以某种方式对数据进行重构(
2. )--您正在将数据从A点移动到B点，但不是重构数据

当我使用“重构”一词时，我指的是更改表格的粒度或最底层的细节。

对于1.你的问题中概述的十个步骤通常是遵循的。一般最佳做法：

将尽可能多的转换逻辑推入数据库资源，而不是slower)

• Validate，软件(软件通常是
• 转换)，审计步骤用于使用组织使用的

标准

对于2.这要简单得多，所以可以使用问题中列出的任何一种方法。