使用SSIS与.NET可执行的ETL

Question

目前，我有一个ETL作业，它将每隔X分钟在Server数据库之间传输数据。ETL工作是通过.NET exe完成的。最近，客户端会希望数据更加实时。

我已经接触到了使用SSIS代替ETL工作的理想。据我所知，SSIS被设计为在批处理模式下运行。因此，数据准备与使用back .NET可执行文件几乎是一样的？

使用SSIS的优点是什么？是否能够优化ETL流程以满足近乎实时的需求？

Answer 1

SSIS提供了专门用于在不同数据库之间提取、转换和加载数据的组件。在功能方面，在C#中开发的批处理不会在执行时间方面作为ssis包进行太大的优化。另一方面，SSIS包更容易使用Server代理在Server中集成，因此您可以安排作业并查看每个包的执行日志。

对于客户的需要，我们得到了同样的问题，所以当有大量的数据需要处理时，批处理是有限制的，但是对于数据量不太大的数据，它仍然是一个解决方案。