SSIS ETL设计

Question

SSIS ETL设计

我在试着建立一份ETL工作。下面是我的主要设计注意事项

1. One主表，用于跟踪数据拉出和状态

表详细信息

表名- JobStatus

• 列- JobId、StartTime、EndTime、Status

表名- JobDetails

• Job_Detail_id，JobId，TableName，StartTime，EndTime，Status

表名- ErrorLog

• ErrorLogid，ErrorDesc，Time，

评论

它是如何工作的

1. 每当作业失败时，作业详细信息表将有助于确定哪个是最后一个错误的表，ETL作业可以从该步骤开始，
2. SSIS包将为源和暂存DB
3. 之间的每个表定义DataFlow任务，例如它如何工作

。

- Put Entry in Job Status Table to start package execution
- Each Dataflow task for individual table would put an entry in JobDetails table. After Loading data End Time and Status would be updated
- On Error Status updated to Error and entry logged in Errorlog table

​

我需要你对这一办法的评论/反馈意见。与此示例相关的任何与ETL设计相关的书签/博客文章也会有帮助。

Answer 1

我认为在SSIS中已经存在关于从故障点重新启动包执行的要求。您可以使用检查点文件来实现该功能。内置的SSIS日志功能可以帮助您跟踪错误消息并帮助解决问题。

看到我在我的网站上写的一篇关于你的问题的文章。我希望这可能会让您了解SSIS中已经存在的功能，以及如何更好地利用它。

我认为您可以花费高质量的时间来微调您的核心业务功能，而不是重新创建大部分已经存在的流程。标准功能可能需要根据我们的需求进行一些小的修改，但我不认为您需要从头开始。

希望这能有所帮助。