首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏DolphinScheduler

    Apache DolphinScheduler年终盘点

    印度开发者为DolphinScheduler引入通用OIDC认证,实现无缝安全访问开源之夏:在今年的开源之夏活动中,来自北京交通大学电气工程专业的优秀学生赵海波为ApacheDolphinScheduler

    17110编辑于 2026-01-08
  • 来自专栏chimchim要努力变强啊

    Apache DolphinScheduler使用学习文档

    一、介绍 Apache DolphinScheduler是一个分布式去中心化易扩展的工作流任务调度系统。

    4.6K21编辑于 2022-11-13
  • 来自专栏DolphinScheduler

    图解 Apache DolphinScheduler 如何配置飞书告警

    在【选择插件】中,选择【Feishu】,将前面的【Webhook】填进【Web钩子】。

    24310编辑于 2025-11-19
  • 来自专栏暴走大数据

    调度系统Apache DolphinScheduler介绍和设计原理

    Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 1.3 的架构分层详细图如下: 1.3 整个系统运作过程的活动图如下: 更多详细信息参见 issue:https://github.com/apache/incubator-dolphinscheduler /releases/tag/1.3.2 Apache DolphinScheduler 社区介绍 Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已100多名, 他们分别来自 部分用户案例(排名部分先后) 已经有近 400 多家企业和科研机构在使用 DolphinScheduler,来处理各类调度和定时任务,另有 800 多家公司开通了海豚调度的试用: Apache DolphinScheduler DolphinScheduler 在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表或者github issue参与到 DolphinScheduler

    17.5K31发布于 2021-09-18
  • 来自专栏DolphinScheduler

    深度探秘 Apache DolphinScheduler 数据库模式

    它具备广泛的兼容性,可支持MySQL、PostgreSQL和H2等多种数据库,其具体定义存储在dolphinscheduler-dao/src/main/resources/sql目录下。 版本控制系统基于代码的版本控制模型DolphinScheduler使用复杂的版本控制系统,支持:不同版本的并发执行。安全更新而不影响正在运行的实例。完整的变更审计跟踪。 调度体系架构Quartz集成DolphinScheduler集成了Quartz调度程序以实现基于cron的调度。模式包括标准Quartz表以及一个映射表。 在dolphinscheduler-dao/src/main/resources/sql/upgrade中维护用于跨版本模式迁移的升级脚本。 数据库交互模式服务层访问数据库访问通过dolphinscheduler-dao中的DAO层进行抽象。关键服务类:ProcessService:工作流/任务定义和实例的CRUD操作。

    15810编辑于 2026-01-28
  • 来自专栏轻何

    Apache DolphinScheduler 告警插件开发和源码解读

    Apache DolphinScheduler的2.0.1版本 加入了插件化架构改进,将任务、告警组件、数据源、资源存储、注册中心等都将被设计为扩展点,以此来提高 Apache DolphinScheduler 当前版本:3.1.2告警插件开发先来看下alert目录的结构图片dolphinscheduler-alert-api该模块是 ALERT SPI 的核心模块,该模块定义了告警插件扩展的接口以及一些基础代码 ,http告警插件需要通过http发送请求,发送请求首先需要确定哪些参数.在 HttpAlertConstants 可以看到有定义一些相关参数package org.apache.dolphinscheduler.plugin.alert.http 是不是发现源码看下来也没有发现多高深和复杂:)所以多看看源码吧,以后你也可以写出这样优秀的开源软件来贡献开源参考连接[Feature] Alert Plugin Design · Issue #3049 · apache /dolphinscheduler (github.com)alert (apache.org)

    3.1K10编辑于 2023-03-28
  • 来自专栏DolphinScheduler

    实战干货:Apache DolphinScheduler 参数使用与优化总结

    实战干货:ApacheDolphinScheduler参数使用与优化总结在使用DolphinScheduler进行数据调度开发的过程中,参数的灵活运用是提升任务复用性、动态化执行逻辑的关键。 内置参数DolphinScheduler提供了几个常用的系统级内置参数,主要用于获取调度实例的执行时间。这些参数无需定义,直接引用即可。 基础参数SHELL案例但是这种方式在SQL节点下不适用,SQL下使用衍生内置函数会比较方便衍生内置参数为解决SQL节点无法使用参数的问题,DolphinScheduler提供了强大的{}参数的问题,DolphinScheduler 提供了强大的参数的问题,DolphinScheduler提供了强大的[...]衍生函数语法,支持任意格式的日期拼接与运算,推荐在所有场景中优先使用。 参数优先级:DolphinScheduler参数的优先级从高到低为:本地参数>上游任务传递的参数>全局参数

    85210编辑于 2025-11-12
  • 来自专栏DolphinScheduler

    Apache DolphinScheduler 3.4.1 发布,新增任务分发超时检测

    更多详情请查看ReleaseNote:https://github.com/apache/dolphinscheduler/releases/tag/3.4.1源码下载:https://dolphinscheduler.apache.org 这两项能力进一步提升了DolphinScheduler在生产级数据平台环境中的稳定性和可控性。致谢贡献者ApacheDolphinScheduler3.4.1的发布离不开社区开发者的共同努力。

    15310编辑于 2026-03-13
  • 来自专栏DolphinScheduler

    第 2 篇|Apache DolphinScheduler 的核心抽象模型

    DAG在DolphinScheduler中真正解决的是什么问题在DolphinScheduler里,DAG的职责非常单一:判断“某个任务现在能不能被调度”。 这正是DolphinScheduler在运行时对DAG进行动态判断的核心逻辑。在源码实现中,DAG会在流程实例启动时被解析成内存结构,用来驱动后续的调度决策。 这也是为什么DolphinScheduler可以天然支持并行、条件分支和失败阻断。这些能力并不是“写死的逻辑”,而是DAG推理的自然结果。 流程定义vs流程实例:真正的分水岭理解DolphinScheduler,绕不开“定义”和“实例”的区别。 “状态迁移”而不是“业务逻辑”展开从这个角度看,DolphinScheduler并不是在“管理任务”,而是在管理状态和依赖的演进过程。

    9610编辑于 2026-02-04
  • 来自专栏DolphinScheduler

    小白指南:Apache DolphinScheduler 补数据功能实操演示

    最近使用 Apache DolphinScheduler 调度任务,不可避免地使用到【补数据】功能,经过不断尝试,终于成功运行了【补数据】功能,以此帖记录。 版本说明:3.1.9补数据功能简介"补数据" 在 Apache DolphinScheduler 中指的是 补数据(Complement Data) 功能,用于补充执行历史时间段内的工作流实例。 Notes补数据功能是 Apache DolphinScheduler 工作流管理中的重要特性,通过灵活的配置选项(执行方式、并行度、执行顺序等)来满足不同的数据补充需求

    30610编辑于 2025-10-29
  • 来自专栏大数据成神之路

    一文读懂,硬核 Apache DolphinScheduler3.0 源码解析

    DolphinScheduler的设计与策略 大家能关注DolphinScheduler那么一定对调度系统有了一定的了解,对于调度所涉及的到一些专有名词在这里就不做过多的介绍,重点介绍一下流程定义,流程实例 PR链接:https://github.com/apache/dolphinscheduler/issues/10874 动态展示见链接:http://thesecretlivesofdata.com/ 2.1 工程模块介绍与配置文件 2.1.1 工程模块介绍 dolphinscheduler-alert 告警模块,提供告警服务; dolphinscheduler-api web应用模块,提供 Rest Api 服务,供 UI 进行调用; dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类 dolphinscheduler-dao 提供数据库访问等操作; dolphinscheduler-remote pageSize, masterCount, thisMasterSlot); } <select id="queryCommandPageBySlot" resultType="org.<em>apache</em>.<em>dolphinscheduler</em>.dao.entity.Command

    3.2K30编辑于 2022-11-11
  • 来自专栏DolphinScheduler

    Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?

    ApacheDolphinScheduler用的是单机部署,具体操作可以参考官方文档:DolphinScheduler|文档中心(https://dolphinscheduler.apache.org/ zh-cn/docs/3.3.2/guide/installation/standalone).前置条件:已经安装Java11、DolphinScheduler3.3.2、Flink1.18.1、Kafka3.6.0 可以看出,配置环境变量用的是bin/env文件夹下的dolphinscheduler_env.sh。 查看dolphinscheduler-daemon.sh文件:修改dolphinscheduler_env.sh文件,新增JAVA、Flink路径:展开代码语言:TXTAI代码解释#修改成自己的JAVA /bin/dolphinscheduler-daemon.shstartstandalone-server测试测试Flink、ApacheDolphinScheduler是否能访问成功。

    10210编辑于 2026-01-28
  • 来自专栏857-Bigdata

    浅析 Apache DolphinScheduler 工作流实例的生命周期

    点击蓝字 关注我们 “ 大家好,我是蔡顺峰,白鲸开源的数据工程师,同时也是Apache DolphinScheduler项目的committer和PMC成员。 ” 文|蔡顺峰 编辑整理| 曾辉 讲师介绍 蔡顺峰 白鲸开源研发工程师 01 项目介绍 Apache DolphinScheduler是一个分布式任务调度平台,旨在提供即插即用的数据管道解决方案。 Apache DolphinScheduler支持多种外部调用方式,如常见的 Web UI 和开放的 API,在社区中还有一个名为 PyDS 的子项目,它是一个 Python客户端,还可以通过提交yaml Apache DolphinScheduler 作为 Apache 基金会的顶级项目,在中国非常受欢迎,同时在海外也有用户开始尝试和咨询,我们有450多位贡献者,在GitHub上拥有一万个Star,其次它背后用有一家商业开源公司 目前,我主要在参与两个Apache顶级项目,即Apache DolphinScheduler 和 SeaTunnel。

    1.3K20编辑于 2023-07-26
  • 来自专栏DolphinScheduler

    Apache DolphinScheduler 新增 gRPC 任务插件 | 开源之夏成果总结

    美食项目名称为ApacheDolphinScheduler新增gRPC任务插件项目简介在OSPP2025中,我主要承担了“为ApacheDolphinScheduler新增gRPC任务插件”的工作,这为DolphinScheduler 与DolphinSchedulerHTTP任务访问外部HTTP接口相似,这个插件主要用于访问外部gRPC服务器提供的网络接口,并参考了HTTP插件,使用相似的配置参数,结合DolphinScheduler DolphinScheduler作为一个进入CNCFLandscape的分布式工作流调度系统,在云原生的场景中得到了广泛应用,但目前缺少对云原生场景中普遍存在的gRPC协议的支持,因而催生了本项目的需求 A:DolphinScheduler作为一个分布式的工作流调度系统,其架构设计本身就非常有吸引力。首先DS涉及了的任务调度、分布式、云原生等多种概念,这是我希望想要深入学习的领域。 此外,DolphinScheduler社区非常完善,在申请阶段,我与社区的导师进行了沟通,他们非常耐心,能清晰地阐述项目目标和预期,还有丰富的说明文档、成熟的社区制度和友好的沟通体验,让我对顺利完成项目拥有足够的信心

    23310编辑于 2025-11-12
  • DolphinScheduler教程

    引言Apache DolphinScheduler 作为一款分布式任务调度系统,凭借其强大的任务编排能力和灵活的扩展性,已成为大数据领域调度管理的核心工具。 2├── src/main/java/org/apache/dolphinscheduler/plugin/task/custom/3│ ├── CustomTask.java # /version>5</parent>6<dependencies>7 <dependency>8 <groupId>org.apache.dolphinscheduler</groupId 步骤3:SPI 注册与打包部署SPI 配置:在 META-INF/services/org.apache.dolphinscheduler.spi.task.TaskPlugin 文件中写入插件全限定名 (如 org.apache.dolphinscheduler.plugin.task.custom.CustomTaskPlugin)。

    55310编辑于 2025-12-15
  • 来自专栏DolphinScheduler

    Apache DolphinScheduler 2 月社区动态:功能升级与优化齐飞

    感谢所有为DolphinScheduler社区做出贡献的开发者们! 注:括号内的引用(例如[Fix-18006](#18006))对应于DolphinScheduler在GitHub上的Issue或PullRequest编号,方便您查阅更详细的信息。

    8510编辑于 2026-03-05
  • 来自专栏实时流式计算

    Apache DolphinScheduler 在大数据环境中的应用与调优

    今天我将重点分享关于Apache Dolphinscheduler 2.0.9版本中一些优秀的功能。 ” 文|李进勇 编辑整理| 曾辉 讲师介绍 李进勇 Apache DolphinScheduler PMC 本文主要涉及三大主题:首先,探讨常见的工作流配置模式,其次,介绍DS 2.0.X版本的重要功能特性 01 工作流配置模式 在Apache DolphinScheduler中,工作流配置模式以其多样性和灵活性而受到开发者喜爱。 虽然这些配置模式可能已经为大家所熟知,但本文仍会对其进行简单介绍。 参与贡献 随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量, 社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689 非新手问题列表:https://github.com/apache

    1.5K20编辑于 2023-09-06
  • 来自专栏DolphinScheduler

    结项报告完整版 | 为 Apache DolphinScheduler 添加 gRPC 插件

    2.3.测试覆盖插件整体功能性单元测试https://github.com/apache/dolphinscheduler/blob/dev/dolphinscheduler-task-plugin/dolphinscheduler-task-grpc Protobuf解析器语法支持相关单元测试https://github.com/apache/dolphinscheduler/blob/dev/dolphinscheduler-task-plugin /dolphinscheduler-task-grpc/src/test/java/org/apache/dolphinscheduler/plugin/task/grpc/GrpcParserTest.java /blob/dev/dolphinscheduler-api-test/dolphinscheduler-api-test-case/src/test/java/org/apache/dolphinscheduler 项目GitHub链接:https://github.com/apache/dolphinscheduler/pull/17402感谢OSPP及DolphinScheduler社区各位导师的支持与指导。

    19710编辑于 2025-11-19
  • 来自专栏暴走大数据

    Apache DolphinScheduler之有赞大数据开发平台的调度系统演进

    前言 在不久前的 Apache DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人宋哲琦带来了平台调度系统从 Airflow 迁移到 Apache DolphinScheduler 刚入职时,有赞使用的还是同为 Apache 开源项目的 Airflow,但经过调研和生产环境测试,有赞决定切换到 DolphinScheduler。 有赞大数据开发平台如何利用调度系统? 为什么决定重新选型为 Apache DolphinScheduler ?让我们跟着他的分享来一探究竟。 在调研对比过程中,Apache DolphinScheduler 进入了我们的视野。 同样作为 Apache 顶级开源调度组件项目,我们性能、部署、功能、稳定性和可用性、社区生态等角度对原调度系统和 DolphinScheduler 进行了综合对比。

    3.4K20编辑于 2021-12-15
  • 来自专栏绿盟科技安全情报

    【漏洞通告】Apache DolphinScheduler高危漏洞(CVE-2020-11974、CVE-2020-13922)

    通告编号:NS-2020-0051 2020-09-11 TAG: Apache DolphinScheduler、CVE-2020-11974、CVE-2020-13922 漏洞危害: 攻击者利用漏洞 版本: 1.0 1 漏洞概述 9月11日,绿盟科技监测到Apache软件基金会发布安全公告,修复了Apache DolphinScheduler权限覆盖漏洞(CVE-2020-13922)与Apache @apache.org/msg06077.html SEE MORE → 2影响范围 Apache DolphinScheduler权限覆盖漏洞(CVE-2020-13922) 受影响版本 Apache DolphinScheduler = 1.2.0、1.2.1、1.3.1 不受影响版本 Apache DolphinScheduler >= 1.3.2 Apache DolphinScheduler 远程执行代码漏洞(CVE-2020-11974) 受影响版本 Apache DolphinScheduler = 1.2.0、1.2.1 不受影响版本 Apache DolphinScheduler

    96720发布于 2020-09-14
领券