blocks|key|1144286|text|根据我的经验，气流是目前最好的数据管道。它最适合管理复杂的、长期运行的工作流。UI和模块化是最高级的。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1144287|气流|offset|length|style|BOLD|1144288|unordered-list-item|1144289|用于DAG的Python代码|1144290|1144291|1144292|为每个主要服务/云提供商提供连接器|1144293|1144294|1144295|更多用途|1144296|1144297|1144298|高级度量|1144299|1144300|1144301|更好的UI和API|1144302|1144303|1144304|能够创建非常复杂的工作流|1144305|1144306|1144307|金佳模板|1144308|1144309|1144310|可用作丹瑟尔流扩展生态系统的协调器。|1144311|1144312|=可以并行化|1144313|=与HDFS、蜂箱、猪等的本地连接。|1144314|=图为DAG|1144315|Oozie|1144316|--+Java或XML用于DAGs|1144317|1144318|难以建造复杂的管道|1144319|1144320|1144321|较小、较少活动的社区|1144322|1144323|1144324|更糟糕的WEB|1144325|1144326|1144327|Java|1144328|1144329|1144330|1144331|1144332|正如你所看到的，气流是一个更容易使用(特别是在大型异形团队中)，比Oozie更多用途和更强大的选择。|1144333|就像我说的:随风而去。|1144334|你可能会发现有趣的文章|1144335|entityMap|0|LINK|mutability|MUTABLE|url|https://www.bizety.com/2017/06/05/open-source-data-pipeline-luigi-vs-azkaban-vs-oozie-vs-airflow/^0|0|0|2|0|1|1|0|1|1|0|1|1|0|1|1|0|1|1|0|1|1|0|1|1|0|1|1|0|0|0|0|0|5|0|0|1|1|0|1|1|0|1|1|0|1|1|0|0|0|0|0|0|0|B|0|0^^$0|@$1|2|3|4|5|6|7|2L|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|2M|8|@$D|2N|E|2O|F|G]]|9|@]|A|$]]|$1|H|3|-4|5|I|7|2P|8|@]|9|@]|A|$]]|$1|J|3|K|5|I|7|2Q|8|@]|9|@]|A|$]]|$1|L|3|-4|5|6|7|2R|8|@]|9|@]|A|$]]|$1|M|3|-4|5|I|7|2S|8|@]|9|@]|A|$]]|$1|N|3|O|5|I|7|2T|8|@]|9|@]|A|$]]|$1|P|3|-4|5|6|7|2U|8|@]|9|@]|A|$]]|$1|Q|3|-4|5|I|7|2V|8|@]|9|@]|A|$]]|$1|R|3|S|5|I|7|2W|8|@]|9|@]|A|$]]|$1|T|3|-4|5|6|7|2X|8|@]|9|@]|A|$]]|$1|U|3|-4|5|I|7|2Y|8|@]|9|@]|A|$]]|$1|V|3|W|5|I|7|2Z|8|@]|9|@]|A|$]]|$1|X|3|-4|5|6|7|30|8|@]|9|@]|A|$]]|$1|Y|3|-4|5|I|7|31|8|@]|9|@]|A|$]]|$1|Z|3|10|5|I|7|32|8|@]|9|@]|A|$]]|$1|11|3|-4|5|6|7|33|8|@]|9|@]|A|$]]|$1|12|3|-4|5|I|7|34|8|@]|9|@]|A|$]]|$1|13|3|14|5|I|7|35|8|@]|9|@]|A|$]]|$1|15|3|-4|5|6|7|36|8|@]|9|@]|A|$]]|$1|16|3|-4|5|I|7|37|8|@]|9|@]|A|$]]|$1|17|3|18|5|I|7|38|8|@]|9|@]|A|$]]|$1|19|3|-4|5|6|7|39|8|@]|9|@]|A|$]]|$1|1A|3|-4|5|I|7|3A|8|@]|9|@]|A|$]]|$1|1B|3|1C|5|I|7|3B|8|@]|9|@]|A|$]]|$1|1D|3|-4|5|6|7|3C|8|@]|9|@]|A|$]]|$1|1E|3|1F|5|I|7|3D|8|@]|9|@]|A|$]]|$1|1G|3|1H|5|I|7|3E|8|@]|9|@]|A|$]]|$1|1I|3|1J|5|I|7|3F|8|@]|9|@]|A|$]]|$1|1K|3|1L|5|6|7|3G|8|@$D|3H|E|3I|F|G]]|9|@]|A|$]]|$1|1M|3|1N|5|I|7|3J|8|@]|9|@]|A|$]]|$1|1O|3|-4|5|I|7|3K|8|@]|9|@]|A|$]]|$1|1P|3|1Q|5|I|7|3L|8|@]|9|@]|A|$]]|$1|1R|3|-4|5|6|7|3M|8|@]|9|@]|A|$]]|$1|1S|3|-4|5|I|7|3N|8|@]|9|@]|A|$]]|$1|1T|3|1U|5|I|7|3O|8|@]|9|@]|A|$]]|$1|1V|3|-4|5|6|7|3P|8|@]|9|@]|A|$]]|$1|1W|3|-4|5|I|7|3Q|8|@]|9|@]|A|$]]|$1|1X|3|1Y|5|I|7|3R|8|@]|9|@]|A|$]]|$1|1Z|3|-4|5|6|7|3S|8|@]|9|@]|A|$]]|$1|20|3|-4|5|I|7|3T|8|@]|9|@]|A|$]]|$1|21|3|22|5|I|7|3U|8|@]|9|@]|A|$]]|$1|23|3|-4|5|6|7|3V|8|@]|9|@]|A|$]]|$1|24|3|1F|5|I|7|3W|8|@]|9|@]|A|$]]|$1|25|3|1H|5|I|7|3X|8|@]|9|@]|A|$]]|$1|26|3|1J|5|I|7|3Y|8|@]|9|@]|A|$]]|$1|27|3|28|5|6|7|3Z|8|@]|9|@]|A|$]]|$1|29|3|2A|5|6|7|40|8|@]|9|@]|A|$]]|$1|2B|3|2C|5|6|7|41|8|@]|9|@$D|42|E|43|1|44]]|A|$]]|$1|2D|3|-4|5|6|7|45|8|@]|9|@]|A|$]]]|2E|$2F|$5|2G|2H|2I|A|$2J|2K]]]]

In my experience Airflow is the best data pipeline right now. It's best suited for managing complex, long running workflows. UI and modularity are over the top.

Airflow

<ul>
<li>+ Python Code for DAGs</li>
<li>+ Has connectors for every major service/cloud provider</li>
<li>+ More versatile</li>
<li>+ Advanced metrics</li>
<li>+ Better UI and API</li>
<li>+ Capable of creating extremely complex workflows</li>
<li>+ Jinja Templating</li>
<li>+ Can be used as an Orchestrator for the Tensorflow Extended ecosystem</li>
<li>= Can be parallelized</li>
<li>= Native Connections to HDFS, HIVE, PIG etc..</li>
<li>= Graph as DAG</li>
</ul>

Oozie

<ul>
<li>--- Java or XML for DAGs</li>
<li>- hard to build complex pipelines</li>
<li>- smaller, less active community</li>
<li>- worse WEB GUI</li>
<li>- Java API</li>
<li>= Can be parallelized</li>
<li>= Native Connections to HDFS, HIVE, PIG etc..</li>
<li>= Graph as DAG</li>
</ul>

As you see, Airflow is an easier to use (especially in large heteregenoeus team), more versatile and powerful option than Oozie.

As I said: go with Airflow.

<a href="https://www.bizety.com/2017/06/05/open-source-data-pipeline-luigi-vs-azkaban-vs-oozie-vs-airflow/" rel="noreferrer">Article you may find interesting</a>

I am new to job schedulers and was looking out for one to run jobs on big data cluster. I was quite confused with the available choices. Found Oozie to have many limitations as compared to the already existing ones such as TWS, Autosys, etc. 

Need some comparison points on Oozie vs. Airflow.

Appreciate your help.

Which one to choose Apache Oozie or Apache Airflow? Need a comparison

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我对作业调度器很陌生，我一直在寻找一个在大数据集群上运行作业的任务。我对现有的选择感到很困惑。发现Oozie与现有的TWS、Autosys等已经存在的限制相比有很多局限性。需要一些关于Oozie与气流的比较点。感谢你的帮助。

问选择Apache Oozie还是Apache气流？需要比较
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问选择Apache Oozie还是Apache气流？需要比较EN