.NET ETL流程

Question

首先是一些背景知识；我们正在开发一个数据仓库，并研究在我们的ETL过程中使用什么工具。团队非常以开发人员为中心，每个人都对C#了如指掌。到目前为止，我已经看过RhinoETL，Pentaho (水壶)，Astrix Centerprise。SSIS的出现有许多原因，这些原因超出了这个问题的范围。

在这个时候，我倾向于像RhinoETL这样更面向开发者的东西，因为对于一群开发人员来说，它似乎是阻力最小的途径。其他更多面向视觉设计者的产品是否带来了RhinoETL没有的东西？在评估这些ETL工具时，有没有什么我应该特别注意的事情？有没有其他我们也应该调查的工具？

Answer 1

对于简单的数据流，SSIS似乎总是优于RhinoETL (移动2,000,000条记录的速度大约快30% )。如果你使用的是源代码控制(在我们的例子中是TFS)，你就不能很容易地查看不同版本的dtsx文件(SSIS文件)之间的差异，而使用RhinoETL进行开发则允许你使用TFS特性。

如果您在数据仓库之上开发用户界面，则可以看到RhinoETL的另一个优势。您可以在这两个程序之间共享代码。

尽管我们的SSIS团队中有几名成员来自.Net背景，但我们的管理层决定继续使用SSIS进行开发(尽管他们升级到了SSIS2008--完全是另一个话题)，因为他们觉得让开发人员学习SSIS比让他们学习SSIS更容易。

Answer 2

• Github存储库：https://github.com/paillave/Etl.Net
• Begining of documentation：https://paillave.github.io/Etl.Net

当然，性能不如SSIS好。我认为，如果你想要大量的性能和大量的集成和转换，你仍然应该使用SSIS。

我真正需要的是一个合适的跟踪系统，它允许跟踪任何单个细节的痕迹，如果需要的话，可以很容易地进行操作来记录，这是RhinoEtl等其他工具所不能提供的。我为文件系统、ftp、sftp、xml、csv、entityframework core和批量加载做了很多开箱即用的适配器。我甚至想出了一个可视化工具来查看转换过程的结构。

到目前为止，我花了10个月的时间，我把它开源了。它仍然缺乏大量的文档(需要完成大量的工作)。即使我仍然把它留在alpha版本中，但它是我公司所有ETL流程的基础，它的工作方式就像地狱一样！