Camunda作为数据管道/ ETL的调度器和调度器

Question

我想知道是否有人将Camunda作为数据管道/ETL的调度器和调度器，并且可以分享他的经验。

例如，用它代替气流的利弊是什么？

谢谢!

Answer 1

Camunda

Camunda不提供连接器(如S3、数据库、mongo、rabbitmq、kafka、powerBi)，这只会使它成为ETL的弱者。有人可能会说，您有自定义处理器--然后是的--您需要为这些处理器编写Java并实现ETL。我发现它适用于人在循环决策过程的建模。

Apache气流

我在Apache气流https://github.com/kurtzace/airflow-experiments上做了很多实验--这个实验可以很好地实现DAG。有许多连接器可供使用。当然，使用一点python .Using Spiff -我们可以实现BPMN类型的实验。与Camunda和Apache气流相比，需要更少的代码。

缺点:高学习曲线-主要用于datascience管道

Apache Nifi

但另一方面，我发现Apache更适合它。需要较少的代码作为比较。拥有许多预先构建的处理器，如-批处理/文件、http/https/rest、S3、json变压器、csv转换器、db连接、连接、合并、筛选。

缺点: Nifi对a. 15分钟以上的处理不好b.表现得像火花分布式计算机c.每连接d的数据量超过一个gb .复合连接、滚动窗口、e. rabbitmq型事件