Airflow应该与NiFi/StreamSets集成吗？

Question

我知道Airflow被称为工作流管理器，nifi数据流管理器，但这到底是什么意思？到目前为止，最好的解释是nifi关心数据，而airflow关心任务，但我不太明白这个定义，我也找不到任何其他好的解释/文章/视频来解释如何集成这些系统，如果这是一个好主意或更好地使用各自的系统。

我也在想，如果它是更好的StreamSets或NiFi，我认为streamsets在UI中看起来更好，并监控数据，但我听说这取决于情况，nifi更好，如果我只摄取数据，但我仍然找不到关于这个问题的太多信息。

Answer 1

正如你所说，Airflow是一个工作流管理器。这意味着它只告诉其他程序运行。它不处理数据，但告诉其他程序运行。

另一方面，NiFi和StreamSets处理数据、转换数据、接收数据和发送数据。这就是为什么他们是数据流管理器。