Airbnb Airflow vs Apache Nifi

Question

Airflow和Nifi是否在工作流程上执行相同的工作？每种方法的优势和劣势是什么？我需要读取一些json文件，向其中添加更多自定义元数据，并将其放入Kafka队列中进行处理。我能够在Nifi中做到这一点。我还在研究气流。我正在努力为我的项目选择最好的工作流引擎谢谢！

Answer 1

有关Airflow和Apache NiFi的详细信息，请查看此reddit帖子：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/

对于您的特定用例-摄取Json文件，丰富它们，并将它们路由到Kafka，我相信NiFi是适合这项工作的合适工具。下面是您可能会使用的几个处理器，以及每个处理器的文档：

GetFile：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.GetFile/index.html

JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html

PublishKafka (或PublishKafka__10，取决于您的版本)：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html