开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >ETL处理中记录机制的最佳实践

问ETL处理中记录机制的最佳实践
EN

Stack Overflow用户

提问于 2020-08-05 19:23:41

回答 1查看 96关注 0票数 0

在ETL处理中记录机制的最佳实践是什么？

实际上，我们正在开发ETL应用程序.in，我们希望使用日志分析来记录数据，任何人都可以为行业标准的日志记录机制提供最佳实践。

我已经用谷歌搜索了以下链接:https://www.timmitchell.net/post/2016/03/14/etl-logging/

任何帮助都是非常感谢的。

提前感谢

azure-databricks

azure-log-analytics

EN

回答 1

Stack Overflow用户

发布于 2020-08-05 19:39:06

我最近在一个组织中实现了一个。这是一个定制的，因为技术的选择。

它充当任何ETL作业的包装器也就是开发了一个模板，该模板具有内置的日志记录
该模板具有主作业和子作业的功能，并且基于主或child
The日志记录捕获作业的日志-成功、失败、warning
Source详细信息(例如文件名或源表的名称等名称)
数据分类

传入数据源的所有者

原始文件的行数与加载的行数
如果作业失败，则向通讯组列表发送警报
如果作业失败，则通过服务台发出票据

这取决于您的需求，您可能希望捕获更多或更少。祝好运

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63264139

复制

相似问题