- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
大数据调度平台分类大对比(OozieAzkabanAirFlowXXL-JobDolphinScheduler)
大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。 XXL-Job XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 类型支持 支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process 调度器使用分布式调度，整体的调度能力会随集群的规模线性正常，Master和Worker支持动态上下线，可以自由进行配置。 可以通过对用户进行资源、项目、数据源的访问授权。
12.8K20编辑于 2022-04-13 - 来自专栏程序猿的大杂烩
大数据平台 —— 调度系统之Azkaban
轻量级调度框架 AirFlow:基于Python开发的通用批处理调度框架 Zenus:阿里开源的基于Hadoop的工作流调度系统 EasyScheduler:国内开源的分布式工作流任务调度系统 开源调度框架对比 、管理任务 将Azkaban作为数据平台的- -部分，提供任务调度的能力 基于Azkaban的异常处理、监控报警、审计日志完善数据平台功能 ---- Azkaban架构与调度流程 Azkaban架构图如下 =sh job2.sh # 依赖job1，当job1调度执行完才会执行job2 dependencies=job1 ---------- $ vim job3.job type=command command 因为我们如果要开发自己的大数据平台，可能并不会使用Azkaban WebServer的可视化界面，而是希望在自己的大数据平台界面去与Azkaban进行交互，完成任务的调度管理。 所以Azkaban提供了HTTP Api的支持，让我们可以轻松实现与自研平台的整合。
5.9K70发布于 2020-11-16 - 来自专栏TASKCTL技术交流讨论
数据调度平台系统二大种类及其实现方法与流程
什么是调度系统 调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分 TASKCTL 作业系统的两大种类 现在市面上的调度系统根据功能性可以分为两类定时类作业调度系统&DAG工作流类作业调度系统这两类系统的架构和功能实现通常存在很大的差异，下面就来跟大家普及一下这两种作业系统的不同之处 核心目标基本两点： 1.作业分片逻辑支持：将一个大的任务拆分成多个小任务分配到不同的服务器上执行， 难点在于要做到不漏，不重，保证负载平衡，节点崩溃时自动进行任务迁移等 2.高可用精确定时触发：由于平时经常涉及到实际业务流程的及时性和准确性 DAG工作流类调度系统所服务的通常是作业繁多，作业之间的流程依赖比较复杂的场景； 如：大数据开发平台的离线数仓报表处理业务，从数据采集，清洗，到各个层级的报表的汇总运算，到最后数据导出到外部业务系统，一个完整的业务流程 etl批量作业集群统一调度平台搭建 随着大数据应用需求的不断膨胀，数据处理的复杂度和实时性要求越来越高。
2K81发布于 2020-07-03 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（五）：Airflow使用
\envs\python37\Scripts>pip install apache-airflow==2.1.3 -i https://pypi.tuna.tsinghua.edu.cn/simple2. 002022-03-28，00:00:00+00:002022-03-28，00:00:00+00:002022-03-29，00:00:00+00:00... ...... ...以上表格中以第一条数据为例解释 当然除了自动调度外，我们还可以手动触发执行DAG执行，要判断DAG运行时计划调度（自动调度）还是手动触发，可以查看“Run Type”。 逗号（,）：可以用逗号隔开的值指定一个列表范围，例如，”1,2,5,7,8,9”中杠（-）：可以用整数之间的中杠表示一个整数范围，例如”2-6”表示”2,3,4,5,6”正斜线（/）：可以用正斜线指定时间的间隔频率 ,步长，例如”0-23/2”表示每两小时执行一次。
13.7K54编辑于 2022-07-17 - 来自专栏用户6296428的专栏
有赞大数据平台的调度系统演进
概述 2017年，我们引入Airflow搭建了有赞大数据平台（DP）的调度系统，并完成了全量离线任务的接入。 2、Airflow的痛点问题 随着业务的发展，调度规模的增长，DP的调度系统也遇到了一些痛点问题，主要有以下几点： 因为过于深度的定制化开发，脱离了社区版本，导致我们版本升级成本极高，升级到2.0的成本不亚于引入新的调度系统 任务类型适配 目前DP平台的任务类型主要有16种，主要包含数据同步类的任务和数据计算类的任务，因为任务的元数据信息会在DP侧维护，因此我们对接的方案是在DP服务端构建任务配置映射模块，将DP维护的Task 图2：该工作流在6点完成调度后一直到8点期间，调度系统出现异常，导致7点和8点该工作流未被调起。 2、未来规划 目前，DP平台还处于接入DolphinScheduler的灰度测试阶段，计划于今年12月进行工作流的全量迁移，同时会在测试环境进行分阶段全方位测试，包括调度性能测试和压力测试。
3K20编辑于 2021-12-27 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（三）：Airflow单机搭建
4、配置Airflow使用的数据库为MySQL打开配置的airflow文件存储目录，默认在$AIRFLOW_HOME目录“/root/airflow”中，会有“airflow.cfg”配置文件，修改配置如下 ：[core]dags_folder = /root/airflow/dags#修改时区default_timezone = Asia/Shanghai# 配置数据库sql_alchemy_conn=mysql +mysqldb://airflow:123456@node2:3306/airflow? Default to 5 minutes.dag_dir_list_interval = 305、安装需要的python依赖包初始化Airflow数据库时需要使用到连接mysql的包，执行如下命令来安装 python37) [root@node4 ~]# pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple6、初始化Airflow 数据库
5.5K45编辑于 2022-09-20 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（一）：什么是Airflow
什么是AirflowApache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。 Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。 Airflow官网：http://airflow.apache.org/，Airflow支持的任务调度类型如下：如何获取栏目资源包通过下面的资源链接进行下载，希望对你的学习有帮助https://download.csdn.net
6.4K44编辑于 2022-09-17 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（二）：Airflow架构及原理
Scheduler:调度器，负责周期性调度处理工作流，并将工作流中的任务提交给Executor执行。 metadata database:Airflow的元数据库，用于Webserver、Executor及Scheduler存储各种状态数据，通常是MySQL或PostgreSQL。 二、Airflow术语DAGDAG是Directed Acyclic Graph有向无环图的简称，描述其描述数据流的计算过程。 Task Relationships：一个DAG中可以有很多task，这些task执行可以有依赖关系，例如：task1执行后再执行task2，表明task2依赖于task1，这就是task之间的依赖关系 Scheduler会间隔性轮询元数据库（Metastore）已注册的DAG有向无环图作业流，决定是否执行DAG，如果一个DAG根据其调度计划需要执行，Scheduler会调度当前DAG并触发DAG内部task
8K33编辑于 2022-09-18 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（四）：Airflow WebUI操作介绍
Landing Times Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间，得到的小时数，可以通过这个图看出任务每天执行耗时、延迟情况。 Task Reschedules Task 重新调度的实例情况。 SLA Misses 如果有一个或者多个实例未成功，则会发送报警电子邮件，此选项页面记录这些事件。
2.7K44编辑于 2022-03-29 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（六）：Airflow Operators及案例
depends_on_past(bool,默认False):是否依赖于过去，如果为True,那么必须之前的DAG调度成功了，现在的DAG调度才能执行。 如下： 二、SSHOperator及调度远程Shell脚本 在实际的调度任务中，任务脚本大多分布在不同的机器上，我们可以使用SSHOperator来调用远程机器上的脚本任务。 score_info(id int,name string,score int) row format delimited fields terminated by '\t'; 向表 person_info加载如下数据 ： 1 zs 18 2 ls 19 3 ww 20 向表score_info加载如下数据： 1 zs 100 2 ls 200 3 ww 300 2、在node4节点配置Hive 客户端 由于Airflow random_base): print(random_base) print("hello airflow2") # 返回的值只会打印到日志中 return{"sss2":"xxx2
9.4K55编辑于 2022-09-21 - 来自专栏一起学Golang
Go调度器系列（2）宏观看调度器
GMP的可视化感受 上面的两个宏观角度，都是根据文档、代码整理出来，最后我们从可视化角度感受下调度器，有2种方式。 g1运行在P2上，g18运行在P0上。 P1上实际上也有goroutine运行，可以看到短暂的竖线。 /one_routine2 结果： SCHED 0ms: gomaxprocs=8 idleprocs=5 threads=5 spinningthreads=1 idlethreads=0 runqueue /one_routine2 结果： ? 第2处：M2和P1进行了绑定，但M2上没有运行的G。 第3处：代码中使用fmt进行打印，会进行系统调用，P1系统调用的次数很多，说明我们的用例函数基本在P1上运行。
83350发布于 2019-04-11 - 来自专栏TASKCTL技术交流讨论
数据仓库ETL管理平台TASKCTL调度计划控制原理
表达式例子 “* * *”: 表示每天可执行，缺省就是 * * * “0 6,12 *”: 表示每年 6 月月末、12 月月末可执行 “-1 * 1,4”: 表示每周一、四可执行 “2,4-10 1,2 *”: 表示 1,2 月的 2 号以及 4 到 10 号可执行 执行计划应用案例以下通过代码举例说明执行计划的应用 以上计划按自然日期确定。 可使用连串数据：成功返回值 0-10，警告返回值 11-30 等。注意：用户自定义的返回值只能是在 0-100 之间。 v 7.0 + 新增支持返回信息匹配作业程序的输出信息。 如下图所示： 上图表明调度服务控制 agent3 部署 test2.sh 程序。 对于负载均衡应用，实际上与代码设计无关，只与部署相关。 说明：该例表明如果自定义程序 myexe（并带两个参数 1 与 2）的执行结果是 5 时， 执行当前作业，否则继续等待。
1.4K20编辑于 2022-05-10 - 来自专栏一起学Golang
Go调度器系列（2）宏观看调度器
GMP的可视化感受 上面的两个宏观角度，都是根据文档、代码整理出来，最后我们从可视化角度感受下调度器，有2种方式。 g1运行在P2上，g18运行在P0上。 P1上实际上也有goroutine运行，可以看到短暂的竖线。 /one_routine2 结果： SCHED 0ms: gomaxprocs=8 idleprocs=5 threads=5 spinningthreads=1 idlethreads=0 runqueue /one_routine2 结果： ? 第2处：M2和P1进行了绑定，但M2上没有运行的G。 第3处：代码中使用fmt进行打印，会进行系统调用，P1系统调用的次数很多，说明我们的用例函数基本在P1上运行。
75131发布于 2019-04-23 - 来自专栏数据社
从0到1搭建大数据平台之调度系统
目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。 任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 ? 记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。 比如上游任务1结束后拿到结果，下游任务2、任务3需结合任务1的结果才能执行，因此下游任务的开始一定是在上游任务成功运行拿到结果之后才可以开始。 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求；将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler
3.5K21发布于 2020-07-22 - 来自专栏JavaWeb
任务调度-分布式任务调度平台XXL-JOB
XXL-JOB或其他开源调度平台。 XXL-JOB功能： 拥有集群任务管理平台，统一管理任务调度平台上调度任务，负责触发调度执行，提升调度系统容灾和可用性，可通过nginx为调度中心集群做负载均衡，分配域名。 可自定义开发执行器（实际业务代码开发），负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中，同业务执行器可无限水平扩展（部署多份），通过调度中心设置策略进行负载调度。 、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移、分片广播 失败重试 报警邮件提醒 .... 2. ，实时查看调度情况 执行器还有自动注册到调度中心的功能 开源，有项目源码，完全可以自定义开发调度中心Web端（Bootstrap+ftl） .....
3K20发布于 2019-06-19 - 来自专栏鸿的学习笔记
数据平台的那些事（2）
调度平台简述 数据平台中的地位 任务调度系统在数据平台中算是非常核心的组件了。 在日常的数据处理中，定时运行一些业务是很常见的事，比如定时从数据库将新增数据导入到数据平台，将数据平台处理后的数据导出到数据库或者是文件系统。 可以这么说，任务调度系统类似于军队的司令，指挥着数据平台上的各个组件的运行，时刻监督着任务的运行情况。 与资源调度系统的区别 在数据平台里，有着另一种调度系统，称为资源调度系统。 说它简单，是因为相对于数据平台的计算引擎、存储系统等分布式系统，它的复杂度很低；说它不简单，是因为一个优秀的任务调度系统不仅需要和数据平台的各种组件对接，甚至还需要引入权限控制、监控报警，质量分析等功能 ，比如大数据开发平台的离线数仓报表处理业务，从数据采集，清洗，到各个层级的报表的汇总运算，到最后数据导出到外部业务系统，一个完整的业务流程，可能涉及到成百上千个相互交叉依赖关联的作业 因此DAG工作流类调度系统在数据平台中使用的更加广泛
81730发布于 2019-07-08 - 来自专栏暴走大数据
Apache DolphinScheduler之有赞大数据开发平台的调度系统演进
这是一个大数据离线开发平台，提供用户大数据任务开发所需的环境、工具和数据。 有赞大数据开发平台架构 有赞大数据开发平台主要由基础组件层、任务组件层、调度层、服务层和监控层五个模块组成。 调度系统升级选型 自 2017 年有赞大数据平台 1.0 版本正式上线以来，我们已经在 2018 年 100% 完成了数据仓库迁移的计划，2019 年日调度任务量达 30000+，到 2021 年，平台的日调度任务量已达到 总结起来，最重要的是要满足以下几点： 用户使用无感知，平台目前的用户数有 700-800，使用密度大，希望可以降低用户切换成本； 调度系统可动态切换，生产环境要求稳定性大于一切，上线期间采用线上灰度的形式 图1 图 2 显示在 6 点完成调度后，一直到 8 点期间，调度系统出现异常，导致 7 点和 8点该工作流未被调起。 图2 图 3 表示当 9 点恢复调度之后，因为 具有 Catchup 机制，调度系统会自动回补之前丢失的执行计划，实现调度的自动回补。
3.4K20编辑于 2021-12-15 - 来自专栏大数据和云计算技术
大数据分析处理平台的调度应该具备什么能力？
本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用，达到一个什么样的能力。 谈调度之前，先说说大数据分析处理平台的定义：集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统，它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、 一般来说，大数据分析处理平台有以下几个显著特点： 1、规模大，集群化。百度，腾讯，阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。 2、复杂度高，多个子系统异构。 3、系统负载高，压力大，从腾讯公布的数据来看，每天完成上百万个任务的执行。 4、可靠性要求高，容易维护。 那么调度在整个大数据分析处理平台中起到什么作用？ 2、从系统整合角度，整个系统一定是异构的系统，所以调度要支持异构，能整合异构系统来一起完成整个数据的计算，流转，存储以及提供服务。
1.7K70发布于 2018-03-08 - 来自专栏TASKCTL技术交流讨论
TASKCTL调度平台服务节点管理
TASKCTL调度管理平台系统Admin给具有管理员权限的用户，提供了平台级的调度节点管理，系统工程管理，作业类型管理，用户（组）权限管理，常量管理等功能；另外还提供了短信、邮件等平台消息接口配置维护 ，强制签入（流程）维护，以及平台调度元信息的导出导入等维护功能。 节点管 平台节点用于管理整个平台的调度控制节点。通过调度服务节点和主代理服务节点，能够部署分布式调度架构；通过主代理以及其下属的从代理，能够部署集群调度架构。 在节点管理的拓扑图页面中，展示了整个平台的网络拓扑结构。如下图所示： 最上层唯一的调度服务节点：svrnode，用于管理和控制作业的调度策略和指令。 调度服务节点停止后，Web客户端将不用获取应用数据。若长时间停止，建议设置节点为禁用状态。 节点启动成功后，状态图标展示为“绿色”。停止后的状态图标展示为“灰色”。
83360编辑于 2022-04-01 - 来自专栏我们一无所有，我们巍然矗立
搭建分布式任务调度平台
缺点：没有重试补偿机制，不能支持集群不支持路由策略 使用zk分布式锁，和redis原理相同 缺点：没有重试补偿机制，不能支持集群不支持路由策略 使用分布式任务调度平台 有点：具有重试补偿机制 ，具有路由策略，支持集群部署 分布式任务调度平台的原理： 分布式调度平台分为两个模块： 执行器注册中心: 执行器在启动时将自己的ip和端口信息上报到执行器注册中心 执行器管理中心：管理执行器的执行 1. 2. 当要执行定时任务时，分布式调度中心先去执行器注册中心获取执行器地址列表 ? 3. 分布式任务调度中心会根据相应的路由策略选出其中的一个或者多个，然后再本地执行定时任务 路由测试有多种： ? ? XXL-Job Admin平台搭建 任务调度中心 1. 官方下载XXL-Job Admin的源代码 2. 将xxl-job依赖的sql放入数据库中跑一道，添加相应的数据库以及数据库表 ? 3. 这样，我们的任务调度平台的管理后台就搭建成功了。
1.4K41发布于 2020-09-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号