- 综合排序
- 最热优先
- 最新优先
DolphinScheduler教程
引言Apache DolphinScheduler 作为一款分布式任务调度系统，凭借其强大的任务编排能力和灵活的扩展性，已成为大数据领域调度管理的核心工具。 一、插件化架构解析：理解扩展机制DolphinScheduler 采用分层插件架构，核心组件包括：任务插件模块：统一管理于 dolphinscheduler-task-plugin/ 目录，每个任务类型对应独立模块 （如 dolphinscheduler-task-shell/、dolphinscheduler-task-sql/）。 核心依赖模块：dolphinscheduler-task-api/：定义任务插件的抽象类与接口。dolphinscheduler-spi/：提供系统服务扩展点。 调试优化建议本地调试：在 IDE 中启动 DolphinScheduler 的 Standalone 模式，通过断点调试任务逻辑。
55510编辑于 2025-12-15- 来自专栏chimchim要努力变强啊
dolphinscheduler的switch组件
一、背景 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。 switch组件官方文档 https://dolphinscheduler.apache.org/zh-cn/docs/2.0.6/user_doc/guide/task/switch.html Switch 三、参考资料 DolphinScheduler任务参数附录 DolphinScheduler任务插件有一些公共参数，我们将这些公共参数列在文档中供您查阅。
1.5K30编辑于 2023-10-17 - 来自专栏影子
dolphinscheduler添加hana支持
的支持，同时也讲了dolphinscheduler下的datax的配置（ ），唯一的缺陷是dolphinscheduler默认只对常规数据库厂商的db做了支持，比如:mysql、oracle、sqlserver ,好了，现在开始~ 一.整体的项目结构 （项目结构） 上图是dolphinscheduler整体代码结构，里面dolphinscheduler-ui是前端页面模块，其下方均为脚本或文档之类，其上方有 3.1 添加hana的jdbc依赖 添加依赖大概有三个地方： 1.dolphinscheduler-2.0.5中主目录下pom文件，建议添加版本以及依赖 2.dolphinscheduler-dao模块下的 pom文件 3.dolphinscheduler-datasource-plugin/dolphinscheduler-datasource-saphana模块下的pom文件(这个模块需要创建) 具体位置如下方截图 /dolphinscheduler-datasource-api -am mvn clean -Dmaven.test.skip=true package -Prelease -pl dolphinscheduler-api
1.2K20编辑于 2022-07-30 - 来自专栏影子
dolphinscheduler单机化改造
dolphinscheduler单机化改造 转载请注明出处: https://www.cnblogs.com/funnyzpc/p/16466920.html 前面 其实如果单机的话直接走standalone-server 好了，就说说我碰到的standalone-server模式下的一些不便的地方以及解决思路,还有种种折腾 standalone-server下没有日志 这是个很坑的问题，非常不利于调试，以下这是官方 dolphinscheduler-daemon.sh 的代码片段 elif [ "$command" = "standalone-server" ]; then CLASS=org.apache.dolphinscheduler.server.StandaloneServer standalone-server" ]; then LOG_FILE="-Dlogging.config=classpath:logback-master.xml" CLASS=org.apache.dolphinscheduler.server.StandaloneServer
1.1K30编辑于 2022-07-30 - 来自专栏最新最全的大数据技术体系
DolphinScheduler 之Docker 部署
/apache/dolphinscheduler:1.3.9 $ docker tag apache/dolphinscheduler:1.3.9 apache/dolphinscheduler:latest 数据库 3、初始化数据库，导入 sql/dolphinscheduler_postgre.sql 进行创建表及基础数据导入 4、下载 DolphinScheduler 镜像 我们已将面向用户的 DolphinScheduler /apache/dolphinscheduler:1.3.9 5、运行一个 DolphinScheduler 实例 $ docker run -d --name dolphinscheduler \ - services dolphinscheduler 停止并移除名为 dolphinscheduler 的 stack: docker stack rm dolphinscheduler 移除名为 dolphinscheduler 扩缩容名为 dolphinscheduler 的 stack 的 master 至 2 个实例: docker service scale dolphinscheduler_dolphinscheduler-master
14.1K20编辑于 2022-03-07 - 来自专栏DolphinScheduler
Apache DolphinScheduler年终盘点
印度开发者为DolphinScheduler引入通用OIDC认证，实现无缝安全访问开源之夏：在今年的开源之夏活动中，来自北京交通大学电气工程专业的优秀学生赵海波为ApacheDolphinScheduler
17310编辑于 2026-01-08 - 来自专栏Jed的技术阶梯
012.DolphinScheduler案例实战
user_count | +------------+------------+ | 2021-01-29 | 3 | +------------+------------+ 然后用DolphinScheduler 启动DolphinScheduler并登陆 ? 4. DolphinScheduler操作 参考官网：https://dolphinscheduler.apache.org/zh-cn/docs/1.3.4/user_doc/system-manual.html 默认的default Worker分组中包括全部的Worker节点，是在安装DS的时候在配置文件中指定的： # dolphinscheduler-1.3.3/conf/config/install_config.conf Worker分组的操作，需要修改worker.properties配置文件，例如，我要让hdp02和hdp03这两个节点组成一个分组test来执行特定的任务，那么应该分别编辑hdp02和hdp03这两个节点下dolphinscheduler
2.5K20发布于 2021-02-04 DolphinScheduler 任务状态类型流程
以下是 DolphinScheduler 2.0 任务状态类型的流程图，展示了任务从提交到最终状态的完整生命周期：flowchart TD Start(任务开始) --> Submitted[SUBMITTED_SUCCESS ：失败后可容错重试，形成执行循环双向转换：暂停状态可恢复继续执行多终态：任务有5种结束方式（成功、强制成功、失败、停止、杀死）人工干预：用户可随时暂停、停止或强制成功任务这个流程图清晰地展示了 DolphinScheduler
29910编辑于 2025-09-05- 来自专栏最新最全的大数据技术体系
极速体验DolphinScheduler 3.2.1 Standalone 版
极速体验DolphinScheduler 3.2.1 Standalone 版 Standalone 仅适用于 DolphinScheduler 的快速体验. 二进制包：在下载页面下载 DolphinScheduler 二进制包 启动 DolphinScheduler Standalone Server 解压并启动 DolphinScheduler 二进制压缩包中有 # 解压并运行 Standalone Server tar -xvzf apache-dolphinscheduler-*-bin.tar.gz chmod -R 755 apache-dolphinscheduler /bin/dolphinscheduler-daemon.sh start standalone-server 登录 DolphinScheduler 浏览器访问地址 http://localhost: 12345/dolphinscheduler/ui 即可登录系统 UI。
70800编辑于 2024-05-26 - 来自专栏最新最全的大数据技术体系
DolphinScheduler3.2.1 集群部署(Cluster)
DolphinScheduler3.2.1 集群部署(Cluster) 集群部署目的是在多台机器部署 DolphinScheduler 服务，用于运行大量任务情况。 如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用Standalone方式体检。如果你想体验更完整的功能，或者更大的任务量，推荐使用伪集群部署。 区别就是伪集群部署针对的是一台机器，而集群部署(Cluster)需要针对多台机器，且两者“修改相关配置”步骤区别较大 前置准备工作 && 准备 DolphinScheduler 启动环境 其中除了伪集群部署中的 配置文件在路径在bin/env/install_env.sh下，此处我们仅需修改INSTALL MACHINE，DolphinScheduler ENV、Database、Registry Server && 登录 DolphinScheduler && 启停服务 与伪集群部署保持一致
86800编辑于 2024-05-26 - 来自专栏chimchim要努力变强啊
dolphinscheduler使用impala shell执行sql
一、背景 因为dolphinscheduler工具sql组件不支持impala数据源，只能折衷方法通过shell来执行impala sql。
69310编辑于 2023-10-17 - 来自专栏最新最全的大数据技术体系
DolphinScheduler3.2.1 伪集群部署
DolphinScheduler 伪集群部署 伪集群部署目的是在单台机器部署 DolphinScheduler 服务，该模式下 master、worker、api server 都在同一台机器上 如果你是新手 以创建 dolphinscheduler 用户为例 # 创建用户需使用 root 登录 useradd dolphinscheduler # 添加密码 echo "dolphinscheduler" -*-bin 目录有操作权限 chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin chmod -R 755 " 修改 dolphinscheduler_env.sh 文件 文件 . ，此为非重要信息直接忽略即可 登录 DolphinScheduler 浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统 UI。
99200编辑于 2024-05-26 - 来自专栏chimchim要努力变强啊
Apache DolphinScheduler使用学习文档
一、介绍 Apache DolphinScheduler是一个分布式去中心化易扩展的工作流任务调度系统。
4.6K21编辑于 2022-11-13 - 来自专栏Eights做数据
DolphinScheduler-1.3.0-dev新功能尝鲜
1 DolphinScheduler是什么 Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。 官网 https://dolphinscheduler.apache.org/en-us/ github https://github.com/apache/incubator-dolphinscheduler -dolphinscheduler-bin.tar.gz -C /u01 # 改一波目录名称 mv apache-dolphinscheduler-incubating-1.3.0-cdh5.16.2 /script/create-dolphinscheduler.sh ? /scripts/dolphinscheduler-daemon.sh export DOLPHINSCHEDULER_OPTS="-server -Xmx16g -Xms1g -Xss512k -XX
2K61发布于 2020-07-10 - 来自专栏Rainbond开源「容器云平台」
基于 Rainbond 部署 DolphinScheduler 高可用集群
中部署 DolphinScheduler 的门槛。 集群一键部署对接并访问内置的开源应用商店，搜索关键词 dolp 即可找到 DolphinScheduler 应用。 被部署到哪一个 K8s 集群 选择应用选择 DolphinScheduler 被部署到哪一个应用，应用中包含有若干有关联的组件应用版本选择 DolphinScheduler 图片点击访问，将访问 DolphinScheduler-API 组件，默认的用户密码是admin / dolphinscheduler123图片API Master Worker 节点伸缩DolphinScheduler 图片验证 Worker 节点，进入 DolphinScheduler UI -> 监控中心 -> Worker 查看节点信息。
1.1K20编辑于 2022-07-14 - 来自专栏DolphinScheduler
图解 Apache DolphinScheduler 如何配置飞书告警
在【选择插件】中，选择【Feishu】，将前面的【Webhook】填进【Web钩子】。
24710编辑于 2025-11-19 - 来自专栏DataLink数据中台
Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台
Apache DolphinScheduler DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度平台。 主要是通过 DolphinScheduler 的工作流进行处理，在 DolphinScheduler 中扩展了 Dinky 的作业类型，目前需要等到 3.1 的版本才可以使用。 Dinky on DolphinScheduler Roadmap 优化非 FlinkSQL 的任务执行：DolphinScheduler 的 Dinky Task 目前主要支持 FlinkSQL 批流任务的执行 支持自动在 DolphinScheduler 上构建完整的工作流实例：Dinky 后续支持通过自身的全局血缘分析来推导 DolphinScheduler 工作流实例所需要 DAG 关系，并自动构建完整的工作流实例 选择以 DolphinScheduler 为调度平台：Dinky 未来将以 DolphinScheduler 为最佳调度平台进行深度集成，提供工作流编排能力。
19.5K78编辑于 2023-02-26 - 来自专栏暴走大数据
调度系统Apache DolphinScheduler介绍和设计原理
1.2 的整体架构 DolphinScheduler 1.2 架构 在 DolphinScheduler 1.2 中，master 和 worker 的职责分别如下： Master master 所以在 1.3 的架构设计中，我们着重考虑到减少 worker 的压力，设计了如下新架构 DolphinScheduler 1.3 新架构 DolphinScheduler 1.3 新架构 在 DolphinScheduler 4、支持 Ambari 插件 Ambari 插件可以让 DolphinScheduler 和 Ambari 轻松集成，利用 Ambari 的能力可以使部署和管理 DolphinScheduler 更加简单 ，也更容易扩/缩容， 5、支持 K8s 1.3.x 也提供了对 K8s 的支持，后续也会推出 DolphinScheduler 的 Docker 官方镜像，更方便大家部署 DolphinScheduler 在使用 DolphinScheduler 的过程中，如果您有任何问题或者想法、建议，都可以通过Apache 邮件列表或者github issue参与到 DolphinScheduler 的社区建设中来
17.5K31发布于 2021-09-18 - 来自专栏Hadoop实操
0866-5.16.2-DolphinScheduler集群高可用测试
1.文档编写目的 Apache DolphinScheduler（简称DS）是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。 测试环境说明 1.CM和CDH版本为5.16.2 2.集群启用Kerberos 3.DolphinScheduler版本为1.3.8 4.集群HDFS和Yarn服务已启用HA 5.操作系统为RedHat7.6 DolphinScheduler-Master 分配任务至 worker,默认提供了三种算法: 加权随机（random），在符合的 worker 中随机选取一台 平滑轮询（roundrobin），通过为每台 参考： https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/load-balance.html 本次测试通过拉高集群中两个worker
1.6K22发布于 2021-11-12 - 来自专栏DolphinScheduler
深度探秘 Apache DolphinScheduler 数据库模式
它具备广泛的兼容性，可支持MySQL、PostgreSQL和H2等多种数据库，其具体定义存储在dolphinscheduler-dao/src/main/resources/sql目录下。 版本控制系统基于代码的版本控制模型DolphinScheduler使用复杂的版本控制系统，支持：不同版本的并发执行。安全更新而不影响正在运行的实例。完整的变更审计跟踪。 调度体系架构Quartz集成DolphinScheduler集成了Quartz调度程序以实现基于cron的调度。模式包括标准Quartz表以及一个映射表。 在dolphinscheduler-dao/src/main/resources/sql/upgrade中维护用于跨版本模式迁移的升级脚本。 数据库交互模式服务层访问数据库访问通过dolphinscheduler-dao中的DAO层进行抽象。关键服务类：ProcessService：工作流/任务定义和实例的CRUD操作。
16310编辑于 2026-01-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号