在ETL管道中执行数据提取和转换的领域特定语言

Question

有没有领域特定语言(DSL)可以将数据提取和转换作为提取-转换-加载(ETL)管道的一部分？

我想从第三方SQL数据库中提取数据，并将数据转换为已定义的JSON格式，以便将其存储到我的应用程序中。有许多不同的数据库模式可以从中提取数据，所以我想知道是否已经有一种方法可以通过(常用的)提取语言来配置它(理想情况下，该语言对其他数据源也是不可知的，例如web服务等)。

我四处看了看，但除了几篇研究论文外，我找不到太多关于ETL的公认标准(减去我已经介绍过的'L‘)，我不想重新发明轮子。

如果你能给我一些正确的建议，我将不胜感激。

Answer 1

我认为为ETL创建一个好的、包罗万象的DSL不仅很难，而且是一件有点愚蠢的差事。为了处理现实世界中的许多ETL复杂性，您最终需要重新创建一种通用语言。

而ETL“没有编程技能”，因为这种research paper尝试将与清理和整合不同的源系统的混乱作斗争。

使用通用语言本身当然是可能的，但由于抽象层较低，以及您必须实现的所有基础架构代码，因此非常耗时。

图形化ETL工具和一些ETL DSL通过添加脚本或调用外部程序来解决此问题。虽然这是有用和必要的，但它确实有缺点，即使用多个不同的编程模型，在它们之间移动时会产生相关的心理和技术摩擦。

一种不同的，我认为更好的方法是将ETL功能添加到通用语言中。如果做得好，您可以将特定于ETL的功能和高抽象级别的好处与通用语言及其大型生态系统的强大功能结合起来，所有这些都是通过一个编程模型提供的。

作为后一种方法的一个示例，我的公司提供了actionETL，这是一个跨平台ETL库，它结合了.NET思维方式和现代应用程序开发的优点。例如，它提供熟悉的control flow和dataflow ETL功能，并在多个地方使用internal DSLs来简化配置。如果听起来很适合的话就做try it out。

actionETL现在也有了一个免费的Community edition。

干杯，克里斯蒂安