ETL与工作流管理以及应用哪个？它们可以使用相同的方式吗？

Question

我正在为客户端设置数据管道。我花了很多年从事分析工作，但现在我工作的是一个只有生产环境的小商店。我们做的第一件事是创建一个生产的复制实例，但我想应用一种数据仓库的思维方式，使分析部分变得更容易。

我的问题归结为使用什么工具？还有，为什么呢？我一直在寻找像Talened for ETL这样的解决方案，但也对Airflow非常感兴趣。问题是我不太确定哪一个更适合我的需求。我希望轻松地监控和创建作业(我编写python的时候非常流利，所以创建Airflow作业不是问题)，但也能够在数据传入时进行转换。

如有任何建议，我们将不胜感激

Answer 1

请考虑talend的开源(Talend open Studio)不提供任何监控/调度功能。它只是一个“代码生成器”。更复杂的基础设施是企业版的一部分。

Answer 2

任何看到这个的人。四年后，我们所做的是利用Airflow进行调度，利用Fivetran和/或Sticher进行提取和加载，利用dbt进行转换。