- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
大数据调度平台分类大对比(OozieAzkabanAirFlowXXL-JobDolphinScheduler)
大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。 XXL-Job XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 类型支持 支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process 调度器使用分布式调度，整体的调度能力会随集群的规模线性正常，Master和Worker支持动态上下线，可以自由进行配置。 可以通过对用户进行资源、项目、数据源的访问授权。
12.8K20编辑于 2022-04-13 - 来自专栏BestSDK
10大云存储平台技巧
将数据迁移至云中时，选择一个适合组织需求的策略很重要。随着数据迁移至云存储平台，有一些因素需要考虑，如你是否迁移了归档数据，他们具有不同的宕机需求。 IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 通过在每个文件中提供广泛的元数据，对象存储可以筛选大量非结构化数据，却不会让你感到苦恼。 公有与私有云各自优缺点 当选择云存储平台时，你可能在公有云与私有云之间难以选择。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 在灾难发生后保护，并确保重要数据可用并不是一件小事，但是使用云存储平台可使提供商做更多的工作。
2.7K60发布于 2018-03-02 - 来自专栏程序猿的大杂烩
大数据平台 —— 调度系统之Azkaban
轻量级调度框架 AirFlow:基于Python开发的通用批处理调度框架 Zenus:阿里开源的基于Hadoop的工作流调度系统 EasyScheduler:国内开源的分布式工作流任务调度系统 开源调度框架对比 、管理任务 将Azkaban作为数据平台的- -部分，提供任务调度的能力 基于Azkaban的异常处理、监控报警、审计日志完善数据平台功能 ---- Azkaban架构与调度流程 Azkaban架构图如下 Azkaban有三种部署模式： Solo mode：内置数据库，Server和Executor在同一个 进程中 Two mode：基于Mysq|数据库，启动一个Server和一个Executor Multi 因为我们如果要开发自己的大数据平台，可能并不会使用Azkaban WebServer的可视化界面，而是希望在自己的大数据平台界面去与Azkaban进行交互，完成任务的调度管理。 所以Azkaban提供了HTTP Api的支持，让我们可以轻松实现与自研平台的整合。
5.9K70发布于 2020-11-16 - 来自专栏TASKCTL技术交流讨论
数据调度平台系统二大种类及其实现方法与流程
什么是调度系统 调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分 TASKCTL 作业系统的两大种类 现在市面上的调度系统根据功能性可以分为两类定时类作业调度系统&DAG工作流类作业调度系统这两类系统的架构和功能实现通常存在很大的差异，下面就来跟大家普及一下这两种作业系统的不同之处 DAG工作流类调度系统所服务的通常是作业繁多，作业之间的流程依赖比较复杂的场景； 如：大数据开发平台的离线数仓报表处理业务，从数据采集，清洗，到各个层级的报表的汇总运算，到最后数据导出到外部业务系统，一个完整的业务流程 一个完整的数据分析任务最少执行一次，在数据量较少，依赖关系较为简单的低频数据处理过程中，这种调度方式完全可以满足需求。 etl批量作业集群统一调度平台搭建 随着大数据应用需求的不断膨胀，数据处理的复杂度和实时性要求越来越高。
2K81发布于 2020-07-03 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（五）：Airflow使用
002022-03-28，00:00:00+00:002022-03-28，00:00:00+00:002022-03-29，00:00:00+00:00... ...... ...以上表格中以第一条数据为例解释 当然除了自动调度外，我们还可以手动触发执行DAG执行，要判断DAG运行时计划调度（自动调度）还是手动触发，可以查看“Run Type”。 例如：现在某个DAG每隔1分钟执行一次，调度开始时间为2001-01-01 ，当前日期为2021-10-01 15:23:21，如果catchup设置为True，那么DAG将从2001-01-01 00 如果catchup 设置为False，那么DAG将从2021-10-01 15:22:20（当前2021-10-01 15:23:21前一时刻）开始执行DAG run。 DAG可以有或者没有调度执行周期，如果有调度周期，我们可以在python代码DAG配置中设置“schedule_interval”参数来指定调度DAG周期，可以通过以下三种方式来设置。
13.7K54编辑于 2022-07-17 什么是无代码平台？最新 10 大无代码平台！
二、最新10大无代码平台推荐（一）首选推荐：轻流轻流作为国内无代码领域的领军者，以其卓越的技术实力和丰富的行业经验，在众多无代码平台中脱颖而出。 此外，轻流还获得了SOC2安全审计、信息系统安全等保三级、ISO27001等多项国内外权威安全认证，为企业数据安全保驾护航。 阿里宜搭：与阿里云的产品体系深度集成，阿里宜搭在数据处理和业务流程自动化方面表现出色。某大型企业通过阿里宜搭搭建了财务审批系统，实现了财务流程的自动化，审批效率提升了50%。 浪潮云洲iPaaS：浪潮云洲iPaaS在工业互联网领域具有独特优势，为制造业企业提供了设备管理、生产调度等解决方案。某工业企业通过浪潮云洲iPaaS搭建了智能工厂管理系统，实现了生产过程的智能化。 温馨提示：文章为大模型AI生成，如有侵权，请私信删除。
93710编辑于 2025-08-25- 来自专栏用户6296428的专栏
有赞大数据平台的调度系统演进
概述 2017年，我们引入Airflow搭建了有赞大数据平台（DP）的调度系统，并完成了全量离线任务的接入。 3、DolphinScheduler能力补齐 对于DP现有调度系统的一些定制化能力，我们计划后续在DS侧进行针对性的补齐，下面列举几个目前对于DP平台相对核心的功能以及对应的改造方案设计。 任务类型适配 目前DP平台的任务类型主要有16种，主要包含数据同步类的任务和数据计算类的任务，因为任务的元数据信息会在DP侧维护，因此我们对接的方案是在DP服务端构建任务配置映射模块，将DP维护的Task 跨Dag全局补数 跨Dag全局补数的使用场景一般出现在核心上游表产出异常导致下游商家展示数据异常，一般这种情况下都需要能快速重跑整个数据链路下的所有任务实例来恢复数据正确性。 现状&规划 1、接入现状 DP平台目前已经在测试环境中部署了部分DS服务，并迁移了全量工作流，实现QA环境的调度任务双跑。
3K20编辑于 2021-12-27 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（三）：Airflow单机搭建
4、配置Airflow使用的数据库为MySQL打开配置的airflow文件存储目录，默认在$AIRFLOW_HOME目录“/root/airflow”中，会有“airflow.cfg”配置文件，修改配置如下 ：[core]dags_folder = /root/airflow/dags#修改时区default_timezone = Asia/Shanghai# 配置数据库sql_alchemy_conn=mysql Default to 5 minutes.dag_dir_list_interval = 305、安装需要的python依赖包初始化Airflow数据库时需要使用到连接mysql的包，执行如下命令来安装 python37) [root@node4 ~]# pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple6、初始化Airflow 数据库
5.5K45编辑于 2022-09-20 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（一）：什么是Airflow
什么是AirflowApache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。 Airflow采用Python语言编写，提供可编程方式定义DAG工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。 Airflow官网：http://airflow.apache.org/，Airflow支持的任务调度类型如下：如何获取栏目资源包通过下面的资源链接进行下载，希望对你的学习有帮助https://download.csdn.net
6.4K44编辑于 2022-09-17 - 来自专栏测试开发干货
数据工厂平台10： 首页底部
不过这里我们要思考一个设计上的问题： 很多第一次做平台的同学，会盲目崇拜 首页的各种统计图，觉得这样很高大上。 但是实际上，你去访问公司很多内部平台时候，首页的统计图你根本不会去看，也不会在意。 尤其是统计数据是全局的整体的时候，作为单个用户 更加不会关心了。 当然大部分如此的设计，主要是为了美感，再就是给领导一目了然的掌控心里设计，然后就是秀肌肉，给同事看看自己的平台流量很大。最后就是为了开发者自己的后面晋升答辩、简历美化 提供数据量化支持。 鉴于我捅破了这层窗户纸，所以我们的设计是，同样是统计数据，但是底部留白我们要统计的一定得是登陆者的个人信息，而非全平台的总体数据。 我们为了能更好的融入进我们的平台首页，所以还要继续给它扒皮。
66040编辑于 2022-05-19 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（二）：Airflow架构及原理
Scheduler:调度器，负责周期性调度处理工作流，并将工作流中的任务提交给Executor执行。 DaskExecutor:动态任务调度，支持远程集群执行airflow任务。 metadata database:Airflow的元数据库，用于Webserver、Executor及Scheduler存储各种状态数据，通常是MySQL或PostgreSQL。 二、Airflow术语DAGDAG是Directed Acyclic Graph有向无环图的简称，描述其描述数据流的计算过程。 Scheduler会间隔性轮询元数据库（Metastore）已注册的DAG有向无环图作业流，决定是否执行DAG，如果一个DAG根据其调度计划需要执行，Scheduler会调度当前DAG并触发DAG内部task
8K33编辑于 2022-09-18 - 来自专栏SDNLAB
10大热门Kubernetes新平台和工具
以下是今年发布的10项与Kubernetes相关的新技术，期待它们能够在整个企业IT领域掀起波澜。 Docker企业版3.1 ? Nutanix Karbon平台服务 ? Nutanix于9月推出了该平台即服务，为跨多个云基础设施运行基于微服务的应用程序的客户提供自动化安全性和多租户服务。 其他功能包括容器即服务，支持无服务应用的功能即服务、支持Prometheus监视以及高级网络和数据服务。 for Kubernetes（ACK）是GitHub上一个开发者预览版的开源项目，旨在使用AWS服务构建可扩展、高可用的Kubernetes应用程变得更加容易，无需在集群外定义资源或运行支持服务，例如数据库 原文链接： https://www.crn.com/slide-shows/cloud/10-hot-new-kubernetes-platforms-and-tools/11 责任编辑：边小白
1.8K30发布于 2020-10-09 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（四）：Airflow WebUI操作介绍
Landing Times Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间，得到的小时数，可以通过这个图看出任务每天执行耗时、延迟情况。 Task Reschedules Task 重新调度的实例情况。 SLA Misses 如果有一个或者多个实例未成功，则会发送报警电子邮件，此选项页面记录这些事件。
2.7K44编辑于 2022-03-29 - 来自专栏Lansonli技术博客
大数据调度平台Airflow（六）：Airflow Operators及案例
depends_on_past(bool,默认False):是否依赖于过去，如果为True,那么必须之前的DAG调度成功了，现在的DAG调度才能执行。 params.name}}" echo "{{ params.age}}" {% endfor %} """, params={'name':'wangwu','age':10 score_info(id int,name string,score int) row format delimited fields terminated by '\t'; 向表 person_info加载如下数据 ： 1 zs 18 2 ls 19 3 ww 20 向表score_info加载如下数据： 1 zs 100 2 ls 200 3 ww 300 2、在node4节点配置Hive 客户端 由于Airflow 返回的值只会打印到日志中 return{"sss2":"xxx2"} default_args = { 'owner':'maliu', 'start_date':datetime(2021, 10
9.4K55编辑于 2022-09-21 - 来自专栏凹凸玩数据
盘点 10大 数据库！
大家好，我是小五 DB-Engines 最近发布了 2021 年 9 月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名，实时统计了 378 种数据库的排名指数。 前 30 名的排行情况详见下图，前10大数据库 用线段做了分割。同时在文末，会免费赠送给大家一些数据库书籍！ 跌幅榜情况 较去年同期，本月三霸主集体暴跌再次霸占了“同期跌幅榜”。 虽然各大开源类数据库百花齐放，然而，在 DB-Engines 全球数据库排行榜上，Oracle 和 MySQL 依然是世界上最受欢迎的商业和开源类数据库，而且领跑优势还在继续扩大。 小众数据库不可小觑 数据库相关从业人员可以将 DB-Engines 数据库排名作为参考，大数据时代发展速度之快超乎我们的想象，新的数据库产品仍然在不断诞生，如果你的需求比较特殊，大众数据库产品无法很好地满足你 每天数据增量十多亿，近百万次查询请求。 快手内部也在使用 ClickHouse，存储总量大约 10PB， 每天新增 200TB， 90% 查询小于 3S。
2.5K10发布于 2021-10-18 - 来自专栏TASKCTL技术交流讨论
数据仓库ETL管理平台TASKCTL调度计划控制原理
可使用连串数据：成功返回值 0-10，警告返回值 11-30 等。注意：用户自定义的返回值只能是在 0-100 之间。 v 7.0 + 新增支持返回信息匹配作业程序的输出信息。 该例表明如果 job1 的执行结果是 10 时，执行当前作业，否则不做并忽略通过。 调度服务端则默认分配“1000”数值的虚拟资源，最大作业并发数为 1000。如下图所示： 假如所有作业都采用系统默认资源消耗值“10”。 容许同时并行 10 个作业，第 11 个并行作业则需要等待。 定时表达式例子 * m 10 表示控制器启动后每隔 10 分钟执行一次 230101 s 30 表示控制器启动后，当前系统时间的秒部分为 31 或 01 开始，每隔 30 秒钟执行一次 230101 m
1.4K20编辑于 2022-05-10 - 来自专栏数据社
从0到1搭建大数据平台之调度系统
目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。 任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 ? 记得第一次参与大数据平台从无到有的搭建，最开始任务调度就是用的Crontab，分时日月周，各种任务脚本配置在一台主机上。crontab 使用非常方便，配置也很简单。 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求；将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler 被调度运行的任务会发送到消息队列中，然后等待任务协调计算平台消费并运行任务，这时调度平台只需要等待任务运行完成的结果消息到达，然后对作业和任务的状态进行更新，根据实际状态确定下一次调度的任务。
3.5K21发布于 2020-07-22 - 来自专栏JavaWeb
任务调度-分布式任务调度平台XXL-JOB
任务调度-单体应用定时任务解决方案（存在性能、扩展、容错等问题） 任务调度-第三方库Quartz实现分布式任务管理与调度（存在更新任务要同时配置部署多个应用的问题） 如果上述二种方式都不满足你的需求，我建议你尝试使用 XXL-JOB或其他开源调度平台。 XXL-JOB功能： 拥有集群任务管理平台，统一管理任务调度平台上调度任务，负责触发调度执行，提升调度系统容灾和可用性，可通过nginx为调度中心集群做负载均衡，分配域名。 可自定义开发执行器（实际业务代码开发），负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中，同业务执行器可无限水平扩展（部署多份），通过调度中心设置策略进行负载调度。 ，实时查看调度情况 执行器还有自动注册到调度中心的功能 开源，有项目源码，完全可以自定义开发调度中心Web端（Bootstrap+ftl） .....
3K20发布于 2019-06-19 - 来自专栏个人分享
数据挖掘10大算法详细介绍
想初步了解下怎样数据挖掘，看到一篇不错的文章转载过来啦~ 转自:http://blog.jobbole.com/89037/ 在一份调查问卷中，三个独立专家小组投票选出的十大最有影响力的数据挖掘算法 只有这样之后 SVM 才有能力对新数据进行分类。 为什么我们要用 SVM 呢？ SVM 和 C4.5大体上都是优先尝试的二类分类器。 举个 AdaBoost 算法的例子：我们开始有3个弱学习器，我们将在一个包含病人数据的数据训练集上对他们做10轮训练。数据集里包含了病人的医疗记录各个细节。 在10轮结束的时候，我们剩下了一个带着不同权重的已经训练过的联合学习分类器，之后重复训练之前回合中被误分类的数据。 这是个监督还是非监督算法？ 第四步：计算其他类时也做类似的计算： 因为0.252大于0.01875，Naive Bayes 会把长形，甜的还是黄色水果分到香蕉的一类中。 这是个监督算法还是非监督算法呢？
2.3K40发布于 2018-09-06 - 来自专栏大数据文摘
全球10大新兴MOOC平台盘点(在线教育)
对教育、在线教育、大数据在教育领域应用的朋友，请给公众号留言，大数据文摘将组建“大数据-教育行业群”，共同讨论相关话题。 如果说2012年是MOOC之年，那么2013年就是MOOC爆发之年。 这些新兴平台大多抛弃了直接录制老师讲课视频的方式，专门为在线课程制作视频，并且增加了不少社交和互动元素。来发现最适合自己的平台吧！ iversity通过网友投票和专家评审选出10门课程，为每门课程提供了25000欧元的制作经费。为了开拓国际市场，iversity还发起了用户邀请活动。 一些语言学习平台也采用了MOOC模式，例如英语学习平台Voxy和西班牙语平台spanishmooc。它们都采用了自适应学习的方式，开课时间没有限制。 巴西网站Veduca的一大特色是首页推荐和新闻热点相关的课程。 最后压轴出场的是汇集了12门语言的欧盟平台OpenupEd。
2.3K81发布于 2018-05-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号