- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
大数据调度平台分类大对比(OozieAzkabanAirFlowXXL-JobDolphinScheduler)
大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。 XXL-Job XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 类型支持 支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process 调度器使用分布式调度，整体的调度能力会随集群的规模线性正常，Master和Worker支持动态上下线，可以自由进行配置。 可以通过对用户进行资源、项目、数据源的访问授权。
12.8K20编辑于 2022-04-13 - 来自专栏一个执拗的后端搬砖工
springboot(11)-调度
springboot-调度 ? 调度是非常常用的功能，当前springboot也对调度提供了很好的支持，springboot可以使用自带的调度功能完成定时任务，也可以集成第三方调度构件也完成定时任务。 此篇我们基于springboot自带调度和quartz插件分别实现简单的定时任务功能。 ? III.创建调度配置类 创建调度配置类QuartzConfig并暴露JobDetail和Trigger： @Configuration public class QuartzConfig { 发现每隔5秒钟会打印一下当前时间，我们使用springboot集成quartz调度框架实现的调度任务已经正常工作。
88710发布于 2020-11-19 - 来自专栏程序猿的大杂烩
大数据平台 —— 调度系统之Azkaban
轻量级调度框架 AirFlow:基于Python开发的通用批处理调度框架 Zenus:阿里开源的基于Hadoop的工作流调度系统 EasyScheduler:国内开源的分布式工作流任务调度系统 开源调度框架对比 、管理任务 将Azkaban作为数据平台的- -部分，提供任务调度的能力 基于Azkaban的异常处理、监控报警、审计日志完善数据平台功能 ---- Azkaban架构与调度流程 Azkaban架构图如下 Azkaban有三种部署模式： Solo mode：内置数据库，Server和Executor在同一个 进程中 Two mode：基于Mysq|数据库，启动一个Server和一个Executor Multi 因为我们如果要开发自己的大数据平台，可能并不会使用Azkaban WebServer的可视化界面，而是希望在自己的大数据平台界面去与Azkaban进行交互，完成任务的调度管理。 所以Azkaban提供了HTTP Api的支持，让我们可以轻松实现与自研平台的整合。
5.9K70发布于 2020-11-16 - 来自专栏TASKCTL技术交流讨论
数据调度平台系统二大种类及其实现方法与流程
什么是调度系统 调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分 TASKCTL 作业系统的两大种类 现在市面上的调度系统根据功能性可以分为两类定时类作业调度系统&DAG工作流类作业调度系统这两类系统的架构和功能实现通常存在很大的差异，下面就来跟大家普及一下这两种作业系统的不同之处 DAG工作流类调度系统所服务的通常是作业繁多，作业之间的流程依赖比较复杂的场景； 如：大数据开发平台的离线数仓报表处理业务，从数据采集，清洗，到各个层级的报表的汇总运算，到最后数据导出到外部业务系统，一个完整的业务流程 一个完整的数据分析任务最少执行一次，在数据量较少，依赖关系较为简单的低频数据处理过程中，这种调度方式完全可以满足需求。 etl批量作业集群统一调度平台搭建 随着大数据应用需求的不断膨胀，数据处理的复杂度和实时性要求越来越高。
2K81发布于 2020-07-03 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（五）：Airflow使用
python脚本，使用代码方式指定DAG的结构一、Airflow调度Shell命令下面我们以调度执行shell命令为例，来讲解Airflow使用。 002022-03-28，00:00:00+00:002022-03-28，00:00:00+00:002022-03-29，00:00:00+00:00... ...... ...以上表格中以第一条数据为例解释 ，Airflow正常调度是每天00:00:00 ，假设当天日期为2022-03-24，正常我们认为只要时间到了2022-03-24 00:00:00 就会执行，改调度时间所处于的调度周期为2022-03 当然除了自动调度外，我们还可以手动触发执行DAG执行，要判断DAG运行时计划调度（自动调度）还是手动触发，可以查看“Run Type”。 DAG可以有或者没有调度执行周期，如果有调度周期，我们可以在python代码DAG配置中设置“schedule_interval”参数来指定调度DAG周期，可以通过以下三种方式来设置。
13.7K54编辑于 2022-07-17 - 来自专栏go语言核心编程技术
goroutine调度器概述(11)
本文是《go调度器源代码情景分析》系列的第11篇，也是第二章的第1小节。 调度器数据结构概述 第一章我们讨论操作系统线程及其调度时还说过，可以把内核对系统线程的调度简单的归纳为：在执行操作系统代码时，内核调度器按照一定的算法挑选出一个线程并把该线程保存在内存之中的寄存器的值放入 因此，为了实现对goroutine的调度，需要引入一个数据结构来保存CPU寄存器的值以及goroutine的其它一些状态信息，在Go语言调度器源代码中，这个数据结构是一个名叫g的结构体，它保存了goroutine 有了上述数据结构以及工作线程与数据结构之间的映射机制，我们可以把前面的调度伪代码写得更丰满一点： // 程序启动时的初始化代码 ...... for i := 0; i < N; i++ { // 创建 在简单的介绍了Go语言调度器以及它所需要的数据结构之后，下面我们来看一下Go的调度代码中对上述的几个结构体的定义。
92930发布于 2019-06-24 - 来自专栏测试开发干货
数据工厂平台11：首页收尾
我在这里给大家继续更新下数据工厂章节。 接着来做这个首页的收尾部分。按照上节课的结尾,我们需要进行新导入组件的三个本地化配置。 1. 调整大小位置样式等 2. 经排查，是这个组件文件最底部的 js 引入 报错，所以删除掉这两行引入即可 现在报错问题解决了： 那么我们还剩最后一个 也就是最难的问题，即如何让数据生效？ 说下我的思路，我们可以写个js函数，来从后端接收数据列表。比如我们这4个统计图，我们从后端拿到数据[85,29,59,13],然后通过计算，得出角度。 然后通过jq/js ，强行更改这个loading-的样式内容数据，即可达到效果。 (所以我说大家学好js，这是万能的，一般测开工程师，很少有人研究前端研究到这个地步，不过这也做出的平台效果也会完爆那些千篇一律的内部平台了。) 具体怎么实现，下节课分享。
1K20编辑于 2022-05-19 - 来自专栏用户6296428的专栏
有赞大数据平台的调度系统演进
概述 2017年，我们引入Airflow搭建了有赞大数据平台（DP）的调度系统，并完成了全量离线任务的接入。 3、DolphinScheduler能力补齐 对于DP现有调度系统的一些定制化能力，我们计划后续在DS侧进行针对性的补齐，下面列举几个目前对于DP平台相对核心的功能以及对应的改造方案设计。 任务类型适配 目前DP平台的任务类型主要有16种，主要包含数据同步类的任务和数据计算类的任务，因为任务的元数据信息会在DP侧维护，因此我们对接的方案是在DP服务端构建任务配置映射模块，将DP维护的Task 跨Dag全局补数 跨Dag全局补数的使用场景一般出现在核心上游表产出异常导致下游商家展示数据异常，一般这种情况下都需要能快速重跑整个数据链路下的所有任务实例来恢复数据正确性。 现状&规划 1、接入现状 DP平台目前已经在测试环境中部署了部分DS服务，并迁移了全量工作流，实现QA环境的调度任务双跑。
3K20编辑于 2021-12-27 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（三）：Airflow单机搭建
4、配置Airflow使用的数据库为MySQL打开配置的airflow文件存储目录，默认在$AIRFLOW_HOME目录“/root/airflow”中，会有“airflow.cfg”配置文件，修改配置如下 ：[core]dags_folder = /root/airflow/dags#修改时区default_timezone = Asia/Shanghai# 配置数据库sql_alchemy_conn=mysql Default to 5 minutes.dag_dir_list_interval = 305、安装需要的python依赖包初始化Airflow数据库时需要使用到连接mysql的包，执行如下命令来安装 python37) [root@node4 ~]# pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple6、初始化Airflow 数据库
5.5K45编辑于 2022-09-20 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（一）：什么是Airflow
什么是AirflowApache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。 Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。 Airflow官网：http://airflow.apache.org/，Airflow支持的任务调度类型如下：如何获取栏目资源包通过下面的资源链接进行下载，希望对你的学习有帮助https://download.csdn.net
6.4K44编辑于 2022-09-17 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（二）：Airflow架构及原理
Scheduler:调度器，负责周期性调度处理工作流，并将工作流中的任务提交给Executor执行。 DaskExecutor:动态任务调度，支持远程集群执行airflow任务。 metadata database:Airflow的元数据库，用于Webserver、Executor及Scheduler存储各种状态数据，通常是MySQL或PostgreSQL。 二、Airflow术语DAGDAG是Directed Acyclic Graph有向无环图的简称，描述其描述数据流的计算过程。 Scheduler会间隔性轮询元数据库（Metastore）已注册的DAG有向无环图作业流，决定是否执行DAG，如果一个DAG根据其调度计划需要执行，Scheduler会调度当前DAG并触发DAG内部task
8K33编辑于 2022-09-18 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（四）：Airflow WebUI操作介绍
Landing Times Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间，得到的小时数，可以通过这个图看出任务每天执行耗时、延迟情况。 Task Reschedules Task 重新调度的实例情况。 SLA Misses 如果有一个或者多个实例未成功，则会发送报警电子邮件，此选项页面记录这些事件。
2.7K44编辑于 2022-03-29 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（六）：Airflow Operators及案例
depends_on_past(bool,默认False):是否依赖于过去，如果为True,那么必须之前的DAG调度成功了，现在的DAG调度才能执行。 如下： 二、SSHOperator及调度远程Shell脚本 在实际的调度任务中，任务脚本大多分布在不同的机器上，我们可以使用SSHOperator来调用远程机器上的脚本任务。 SSHOperator调度远程节点脚本案例 按照如下步骤来使用SSHOperator调度远程节点脚本： 1、安装“apache-airflow-providers-ssh ”provider package score_info(id int,name string,score int) row format delimited fields terminated by '\t'; 向表 person_info加载如下数据 ： 1 zs 18 2 ls 19 3 ww 20 向表score_info加载如下数据： 1 zs 100 2 ls 200 3 ww 300 2、在node4节点配置Hive 客户端 由于Airflow
9.4K55编辑于 2022-09-21 - 来自专栏TASKCTL技术交流讨论
数据仓库ETL管理平台TASKCTL调度计划控制原理
可使用连串数据：成功返回值 0-10，警告返回值 11-30 等。注意：用户自定义的返回值只能是在 0-100 之间。 v 7.0 + 新增支持返回信息匹配作业程序的输出信息。 远程调度与负载均衡 运程调度指当作业程序未部署在相应调度服务上时，调度服务器需要通过执行代理控制相应程序。 就拿以上调度示例为例，只需在 agent3 下级联从代理并与上级代理做相同的作业程序部署即可完成负载均衡调度。 容许同时并行 10 个作业，第 11 个并行作业则需要等待。 只有等这 10 个并行作业中，有作业运行完毕释放部分资源，并满足第 11 个并行作业的资源消耗需求条件，这个作业才会运行(其它控制策略都满足的情况下)。
1.4K20编辑于 2022-05-10 - 来自专栏数据社
从0到1搭建大数据平台之调度系统
目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。 任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 ? 记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求；将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler 被调度运行的任务会发送到消息队列中，然后等待任务协调计算平台消费并运行任务，这时调度平台只需要等待任务运行完成的结果消息到达，然后对作业和任务的状态进行更新，根据实际状态确定下一次调度的任务。
3.5K21发布于 2020-07-22 - 来自专栏JavaWeb
任务调度-分布式任务调度平台XXL-JOB
任务调度-单体应用定时任务解决方案（存在性能、扩展、容错等问题） 任务调度-第三方库Quartz实现分布式任务管理与调度（存在更新任务要同时配置部署多个应用的问题） 如果上述二种方式都不满足你的需求，我建议你尝试使用 XXL-JOB或其他开源调度平台。 XXL-JOB功能： 拥有集群任务管理平台，统一管理任务调度平台上调度任务，负责触发调度执行，提升调度系统容灾和可用性，可通过nginx为调度中心集群做负载均衡，分配域名。 可自定义开发执行器（实际业务代码开发），负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中，同业务执行器可无限水平扩展（部署多份），通过调度中心设置策略进行负载调度。 ，实时查看调度情况 执行器还有自动注册到调度中心的功能 开源，有项目源码，完全可以自定义开发调度中心Web端（Bootstrap+ftl） .....
3K20发布于 2019-06-19 - 来自专栏Java进阶架构师
【原创】Java并发编程系列11 | 线程调度
20大进阶架构专题每日送达 ? ? Java并发编程 之前发过，但是因为之前忘记标记原创，没办法收录在【并发编程专题】里面，作为强迫症的我，必须要重发一次。 本文为第 11 篇，前面几篇没看过的，可以在文末找到前几篇的跳转链接。 操作系统采用时分的形式调度运行的线程，操作系统会分出一个个时间片，线程会分配到若干时间片，当线程的时间片用完了就会发生线程调度，并等待着下次分配。 1 毫秒时间内没执行完，则主线程便不再等待它执行完，进入就绪状态，等待 cpu 调度。 注意： yield 方法只是让当前线程暂停一下，重新进入就绪线程池中，让系统的线程调度器重新调度器重新调度一次，完全可能出现这样的情况：当某个线程调用 yield()方法之后，线程调度器又将其调度出来重新进入到运行状态执行
53520发布于 2020-05-26 - 来自专栏暴走大数据
Apache DolphinScheduler之有赞大数据开发平台的调度系统演进
这位来自浙江杭州的 90 后年轻人自 2019 年 9 月加入有赞，在这里从事数据开发平台、调度系统和数据同步组件的研发工作。 这是一个大数据离线开发平台，提供用户大数据任务开发所需的环境、工具和数据。 有赞大数据开发平台架构 有赞大数据开发平台主要由基础组件层、任务组件层、调度层、服务层和监控层五个模块组成。 调度层架构设计 有赞大数据开发平台调度层架构设计 2017 年，我们团队在17年的时候调研了当时的主流的调度系统，最终决定采用 Airflow（1.7）作为 DP 的任务调度模块。 调度系统升级选型 自 2017 年有赞大数据平台 1.0 版本正式上线以来，我们已经在 2018 年 100% 完成了数据仓库迁移的计划，2019 年日调度任务量达 30000+，到 2021 年，平台的日调度任务量已达到 总结起来，最重要的是要满足以下几点： 用户使用无感知，平台目前的用户数有 700-800，使用密度大，希望可以降低用户切换成本； 调度系统可动态切换，生产环境要求稳定性大于一切，上线期间采用线上灰度的形式
3.4K20编辑于 2021-12-15 - 来自专栏大数据和云计算技术
大数据分析处理平台的调度应该具备什么能力？
本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用，达到一个什么样的能力。 谈调度之前，先说说大数据分析处理平台的定义：集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统，它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、 一般来说，大数据分析处理平台有以下几个显著特点： 1、规模大，集群化。百度，腾讯，阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。 2、复杂度高，多个子系统异构。 3、系统负载高，压力大，从腾讯公布的数据来看，每天完成上百万个任务的执行。 4、可靠性要求高，容易维护。 那么调度在整个大数据分析处理平台中起到什么作用？ 2、从系统整合角度，整个系统一定是异构的系统，所以调度要支持异构，能整合异构系统来一起完成整个数据的计算，流转，存储以及提供服务。
1.7K70发布于 2018-03-08 - 来自专栏最新最全的大数据技术体系
11月大数据面试题复习
1）从 high-level 的角度来看，两者并没有大的差别。 spark调优比较复杂，但是大体可以分为三个方面来进行 1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性，选择高效的存储格式如parquet 2）应用程序层面的调优：过滤操作符的优化降低过多小任务 ； 6）数据调度弹性，DAG TASK调度和资源无关； 7）数据分片的高度弹性。 11、Spark为什么要持久化，一般什么场景下要进行persist操作？ 为什么要进行持久化？ 不一定，当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数据量大，sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件，不均匀
92912编辑于 2021-12-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号