- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
大数据调度平台分类大对比(OozieAzkabanAirFlowXXL-JobDolphinScheduler)
大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。 XXL-Job XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。 DolphinScheduler DolphinScheduler是今年（2019年）中国易观公司开源的一个调度系统，在今年美国时间2019年8月29号，易观开源的分布式任务调度引擎DolphinScheduler Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 类型支持 支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process
12.8K20编辑于 2022-04-13 - 来自专栏程序猿的大杂烩
大数据平台 —— 调度系统之Azkaban
轻量级调度框架 AirFlow:基于Python开发的通用批处理调度框架 Zenus:阿里开源的基于Hadoop的工作流调度系统 EasyScheduler:国内开源的分布式工作流任务调度系统 开源调度框架对比 、管理任务 将Azkaban作为数据平台的- -部分，提供任务调度的能力 基于Azkaban的异常处理、监控报警、审计日志完善数据平台功能 ---- Azkaban架构与调度流程 Azkaban架构图如下 Azkaban有三种部署模式： Solo mode：内置数据库，Server和Executor在同一个 进程中 Two mode：基于Mysq|数据库，启动一个Server和一个Executor Multi 因为我们如果要开发自己的大数据平台，可能并不会使用Azkaban WebServer的可视化界面，而是希望在自己的大数据平台界面去与Azkaban进行交互，完成任务的调度管理。 所以Azkaban提供了HTTP Api的支持，让我们可以轻松实现与自研平台的整合。
5.9K70发布于 2020-11-16 - 来自专栏TASKCTL技术交流讨论
数据调度平台系统二大种类及其实现方法与流程
什么是调度系统 调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分 TASKCTL 作业系统的两大种类 现在市面上的调度系统根据功能性可以分为两类定时类作业调度系统&DAG工作流类作业调度系统这两类系统的架构和功能实现通常存在很大的差异，下面就来跟大家普及一下这两种作业系统的不同之处 DAG工作流类调度系统所服务的通常是作业繁多，作业之间的流程依赖比较复杂的场景； 如：大数据开发平台的离线数仓报表处理业务，从数据采集，清洗，到各个层级的报表的汇总运算，到最后数据导出到外部业务系统，一个完整的业务流程 一个完整的数据分析任务最少执行一次，在数据量较少，依赖关系较为简单的低频数据处理过程中，这种调度方式完全可以满足需求。 etl批量作业集群统一调度平台搭建 随着大数据应用需求的不断膨胀，数据处理的复杂度和实时性要求越来越高。
2K81发布于 2020-07-03 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（五）：Airflow使用
002022-03-28，00:00:00+00:002022-03-28，00:00:00+00:002022-03-29，00:00:00+00:00... ...... ...以上表格中以第一条数据为例解释 ，Airflow正常调度是每天00:00:00 ，假设当天日期为2022-03-24，正常我们认为只要时间到了2022-03-24 00:00:00 就会执行，改调度时间所处于的调度周期为2022-03 当然除了自动调度外，我们还可以手动触发执行DAG执行，要判断DAG运行时计划调度（自动调度）还是手动触发，可以查看“Run Type”。 DAG可以有或者没有调度执行周期，如果有调度周期，我们可以在python代码DAG配置中设置“schedule_interval”参数来指定调度DAG周期，可以通过以下三种方式来设置。 逗号（,）：可以用逗号隔开的值指定一个列表范围，例如，”1,2,5,7,8,9”中杠（-）：可以用整数之间的中杠表示一个整数范围，例如”2-6”表示”2,3,4,5,6”正斜线（/）：可以用正斜线指定时间的间隔频率
13.7K54编辑于 2022-07-17 - 来自专栏全栈程序员必看
k8s pod调度_调度方式
k8s 概述 定向调度 亲和性调度 污点和容忍 Pod的调度 概述 在默认情况下，一个Pod在哪个Node节点上运行，是由Scheduler组件采用相应的算法计算出来的，这个过程是不受人工控制的。 这就要求了解kubernetes对Pod的调度规则，kubernetes提供了四大类调度方式。 自动调度：运行在哪个Node节点上完全由Scheduler经过一系列的算法计算得出。 # 指定调度到k8s-node1节点上 强制性的 无论存不存在 • 创建Pod： kubectl create -f pod-nodename.yaml • 查看Pod： kubectl get pod # 将目标pod定向调度到k8s-node1 # 创建参照Pod： kubectl create -f pod-podaffinity-target.yaml # 查看参照Pod： kubectl （为了演示效果更加明显，暂时停止k8s-node2节点）。
1.1K20编辑于 2022-09-22 - 来自专栏用户6296428的专栏
有赞大数据平台的调度系统演进
概述 2017年，我们引入Airflow搭建了有赞大数据平台（DP）的调度系统，并完成了全量离线任务的接入。 DS支持K8S、Docker部署，扩展性强。 功能新增/增强 DS的调度管理界面更具易用性。 DS支持Worker分组，能够实现资源隔离提升Worker利用率。 任务类型适配 目前DP平台的任务类型主要有16种，主要包含数据同步类的任务和数据计算类的任务，因为任务的元数据信息会在DP侧维护，因此我们对接的方案是在DP服务端构建任务配置映射模块，将DP维护的Task 图2：该工作流在6点完成调度后一直到8点期间，调度系统出现异常，导致7点和8点该工作流未被调起。 现状&规划 1、接入现状 DP平台目前已经在测试环境中部署了部分DS服务，并迁移了全量工作流，实现QA环境的调度任务双跑。
3K20编辑于 2021-12-27 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（三）：Airflow单机搭建
CREATE DATABASE airflow CHARACTER SET utf8;create user 'airflow'@'%' identified by '123456';grant all 4、配置Airflow使用的数据库为MySQL打开配置的airflow文件存储目录，默认在$AIRFLOW_HOME目录“/root/airflow”中，会有“airflow.cfg”配置文件，修改配置如下 ：[core]dags_folder = /root/airflow/dags#修改时区default_timezone = Asia/Shanghai# 配置数据库sql_alchemy_conn=mysql use_unicode=true&charset=utf8[webserver]#设置时区default_ui_timezone = Asia/Shanghai#设置DAG显示方式# Default DAG Default to 5 minutes.dag_dir_list_interval = 305、安装需要的python依赖包初始化Airflow数据库时需要使用到连接mysql的包，执行如下命令来安装
5.5K45编辑于 2022-09-20 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（一）：什么是Airflow
什么是AirflowApache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。 Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。 Airflow官网：http://airflow.apache.org/，Airflow支持的任务调度类型如下：如何获取栏目资源包通过下面的资源链接进行下载，希望对你的学习有帮助https://download.csdn.net
6.4K44编辑于 2022-09-17 - 来自专栏院长运维开发
K8s调度器---调度过程
调度分为几个部分：首先是过滤掉不满足条件的节点，这个过程称为 predicate ；然后对通过的节点按照优先级排序，这个是 priority ；最后从中选择优先级最高的节点。 NoDiskConflict：已经mount的volume和pod指定的volume不冲突，除非它们都是只读 如果在predicate过程中没有合适的节点，pod会一直在pending状态，不断重试调度
62620发布于 2020-12-16 - 来自专栏程序猿 Damon 带你进阶全栈
k8s 调度
k8s 调度 1、 k8s 架构 k8s的架构如图： ? ） etcd：是用于共享配置和服务发现的分布式，一致性的KV存储系统，被用作Kubernetes集群后端数据的持久化存储 node 主要包含以下组件： kubelet：负责Pod对应容器的创建、启停和销毁等任务 注释： 红色部分表示资源分配 浅蓝色表示采用的调度器 灰色表示普通调度策略 荧光色表示高级调度策略 2.5 k8s 调度器资源分配机制 基于Pod 中容器 request 资源“总和” 调度 a. resoureces.limits 影响 pod 的运行资源上限，不影响调度 b. initContainer 取最大值，container 取累加值，最后两者中取大，即 Max( Max( BalancedResourceAllocation，平衡cpu/mem的消耗比例 3、k8s 调度策略 3.1 普通调度策略 nodeSelector【将来会被废弃】：将 Pod 调度到特定的 Node
1.2K51发布于 2020-08-28 【能力比对】K8S数据平台VS数据平台
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 一、K8S数据平台VS数据平台能力对比 1.1 K8S数据平台（CloudEon）-功能描述 K8S数据平台基于开源项目CloudEon建设，简化Kubernetes上大数据集群的运维管理，一款基于Kubernetes 二、功能对比总结三、 功能模块对比 3.1.1 K8S数据平台-功能定位 定位：K8S数据平台（CloudEon）作为数据基础设施核心引擎，通过容器编排将数据库、大数据及AI框架标准化为云原生资源，解决传统架构弹性 02 混合云资源弹性调度基于K8s集群联邦（Federation）能力，支持跨私有云、公有云、边缘节点的数据资源统一调度，实现数据计算与存储的动态负载均衡。 四、 K8S数据平台VS数据平台-应用场景适配K8S数据平台（CloudEon）高实时性、弹性需求行业：互联网用户行为分析、金融反欺诈、AI模型推理等场景需支撑千万级QPS查询与GPU资源动态调度，其流批一体计算引擎
55510编辑于 2025-05-07- 来自专栏Lansonli技术博客
大数据调度平台Airflow（二）：Airflow架构及原理
Scheduler:调度器，负责周期性调度处理工作流，并将工作流中的任务提交给Executor执行。 DaskExecutor:动态任务调度，支持远程集群执行airflow任务。 metadata database:Airflow的元数据库，用于Webserver、Executor及Scheduler存储各种状态数据，通常是MySQL或PostgreSQL。 二、Airflow术语DAGDAG是Directed Acyclic Graph有向无环图的简称，描述其描述数据流的计算过程。 Scheduler会间隔性轮询元数据库（Metastore）已注册的DAG有向无环图作业流，决定是否执行DAG，如果一个DAG根据其调度计划需要执行，Scheduler会调度当前DAG并触发DAG内部task
8K33编辑于 2022-09-18 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（四）：Airflow WebUI操作介绍
Landing Times Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间，得到的小时数，可以通过这个图看出任务每天执行耗时、延迟情况。 Task Reschedules Task 重新调度的实例情况。 SLA Misses 如果有一个或者多个实例未成功，则会发送报警电子邮件，此选项页面记录这些事件。
2.7K44编辑于 2022-03-29 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（六）：Airflow Operators及案例
depends_on_past(bool,默认False):是否依赖于过去，如果为True,那么必须之前的DAG调度成功了，现在的DAG调度才能执行。 如下： 二、SSHOperator及调度远程Shell脚本 在实际的调度任务中，任务脚本大多分布在不同的机器上，我们可以使用SSHOperator来调用远程机器上的脚本任务。 SSHOperator调度远程节点脚本案例 按照如下步骤来使用SSHOperator调度远程节点脚本： 1、安装“apache-airflow-providers-ssh ”provider package score_info(id int,name string,score int) row format delimited fields terminated by '\t'; 向表 person_info加载如下数据 ： 1 zs 18 2 ls 19 3 ww 20 向表score_info加载如下数据： 1 zs 100 2 ls 200 3 ww 300 2、在node4节点配置Hive 客户端 由于Airflow
9.4K55编辑于 2022-09-21 - 来自专栏测试开发干货
数据工厂平台-8：首页统计功能
想简单请直接跳转到第13章内容】 注意我们当前做的平台是数据构造平台，既然是数据，那么首页我们要弄成什么样呢？ 当然，每个工具被使用的时候，我们都要在统计表中记录好它被使用的次数，这样才能更加刺激其他同学在平台上创造数据构造小工具。 目前的设计主要会有四大模块： 大型数据工具 模块，此模块负责构造过程非常复杂且繁多，需要调用各种支撑服务的超大数据构造。 小工具类模块，此模块负责较小的脚本、数据构造、小工具等的模块。 设置管理模块，包括平台的各种设置，架构等等。 首页统计模块，方便使用者对当前整体有个概念 和力量展示。 下节课我们用vue和该统计图连接起来，控制它的展示数据等等。
75130编辑于 2022-05-19 - 来自专栏谢公子学安全
K8s调度策略
1 调度 在K8s中，调度是指将Pod放置到合适的节点上。调度器通过 K8s 的监测机制来发现集群中新创建且尚未被调度到节点上的Pod。 kube-scheduler调度器 kube-scheduler组件是K8s集群的默认调度器，并且是集群控制面的一部分。 在做调度决定时需要考虑的因素包括：单独和整体的资源请求、硬件/软件/策略限制、 亲和以及反亲和要求、数据局部性、负载间的干扰等等。 #给指定的节点打标签 kubectl label nodes k8s-node1 key1=value1 #移除标签 kubectl label nodes k8s-node1 key1- 创建一个将被调度到你选择的节点的 #查询k8s-master节点的Taints kubectl describe node k8s-master | grep Taints #取消污点 kubectl taint nodes k8s-master
1.4K80编辑于 2023-02-27 - 来自专栏TASKCTL技术交流讨论
数据仓库ETL管理平台TASKCTL调度计划控制原理
可使用连串数据：成功返回值 0-10，警告返回值 11-30 等。注意：用户自定义的返回值只能是在 0-100 之间。 v 7.0 + 新增支持返回信息匹配作业程序的输出信息。 远程调度与负载均衡 运程调度指当作业程序未部署在相应调度服务上时，调度服务器需要通过执行代理控制相应程序。 就拿以上调度示例为例，只需在 agent3 下级联从代理并与上级代理做相同的作业程序部署即可完成负载均衡调度。 如下图所示： 利用 hostuser 实现远程调度 从 v6.0+开始，TASKCTL 为用户提供统一的无代理远程调度机制。 相对于代理模式来讲，无代理由于无需在受控目标机器部署相应的软件，即可调度控制相应的作业程序。这种变化，让调度控制空间格局，得到彻底的延展变化，极大拓展了调度的应用场景。这种场景适合运维管理自动化。
1.4K20编辑于 2022-05-10 - 来自专栏数据社
从0到1搭建大数据平台之调度系统
目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。 任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 ? 记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求；将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler 被调度运行的任务会发送到消息队列中，然后等待任务协调计算平台消费并运行任务，这时调度平台只需要等待任务运行完成的结果消息到达，然后对作业和任务的状态进行更新，根据实际状态确定下一次调度的任务。
3.5K21发布于 2020-07-22 - 来自专栏JavaWeb
任务调度-分布式任务调度平台XXL-JOB
任务调度-单体应用定时任务解决方案（存在性能、扩展、容错等问题） 任务调度-第三方库Quartz实现分布式任务管理与调度（存在更新任务要同时配置部署多个应用的问题） 如果上述二种方式都不满足你的需求，我建议你尝试使用 XXL-JOB或其他开源调度平台。 XXL-JOB功能： 拥有集群任务管理平台，统一管理任务调度平台上调度任务，负责触发调度执行，提升调度系统容灾和可用性，可通过nginx为调度中心集群做负载均衡，分配域名。 可自定义开发执行器（实际业务代码开发），负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中，同业务执行器可无限水平扩展（部署多份），通过调度中心设置策略进行负载调度。 ，实时查看调度情况 执行器还有自动注册到调度中心的功能 开源，有项目源码，完全可以自定义开发调度中心Web端（Bootstrap+ftl） .....
3K20发布于 2019-06-19 - 来自专栏k8s_t
K8S Pod调度策略
Kubernetes Scheduler K8S调度器，负责监听新创建、尚未分配到计算节点的Pod；K8S调度器最重要的职责就是为每一个Pod找到最适合其运行的计算节点。 kube-scheduler kube-scheduler是K8S集群默认的调度器，如果你愿意，也可以自己写一个调度组件来替代kube-scheduler，在实际应用中，kube-scheduler也有许多不尽如人意的地方 调度算法要考虑的因素有很多，包括单独的、整体的资源请求、软硬件条件、策略条件、亲和性与反亲和性、数据本地化、负载间通信等。 99%A8%E8%B0%83%E5%BA%A6.png? raw=true] K8S集群内的资源隔离 [85-%E8%B5%84%E6%BA%90%E9%9A%94%E7%A6%BB.png?
3.8K60发布于 2019-08-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号