Apache DolphinScheduler 完整指南：如何快速搞定任务依赖、分布式调度与失败重试

【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/gh_mirrors/dolp/dolphinscheduler

凌晨三点，值班群里跳出一条消息：昨天的订单汇总报表没出来。你打开 crontab 文件翻了十分钟也没想明白——报表脚本依赖上游清洗任务，清洗任务又依赖三个不同时间点的同步脚本，谁先跑、谁后跑、谁失败了谁在等，全在每个人脑子里。任务一多，"谁依赖谁"就成了一笔糊涂账：改一个脚本要问三个同事，失败重试全靠人肉盯，机器加一台没人敢加，怕新机器被漏掉分任务。这类问题的根源不是人不够勤快，而是缺少一个把"依赖关系"当一等公民来管理的系统。Apache DolphinScheduler 就是为此而生的分布式工作流调度平台：拖拽 DAG 定义依赖，集群自动分摊任务，失败自动重试——下文按"它怎么做到、帮你省了什么、怎么落地"三步拆开讲。

能力全景：30 秒看懂 DolphinScheduler 管什么

一句话定位：Apache DolphinScheduler 是一个可视化 DAG 工作流调度系统，管"任务定义、依赖编排、集群执行、监控告警"这一整条链路，从 Shell 脚本到 Spark、SQL 任务开箱即用。你可以把它理解成"给数据处理流水线装的调度中控室"：流水线里每个工位（任务）干完活自动喊下一个工位（依赖关系），中控室（调度集群）负责排班和盯异常。

能力地图如下，先记住这五块，后文只展开其中三块核心机制：

一句话小结：DAG 画布负责"画得清楚"，集群执行负责"跑得动"，监控告警负责"挂了有人知道"。下面挑三个最核心的机制讲透它是怎么做到的。

机制拆解：分布式调度、DAG 依赖、失败重试是怎么做到的

任务发下去：Master 选 Worker，Netty 传命令

DAG 依赖像一条"有先后顺序的流水线"：任务 B 的上游 A 没成功，B 就卡在起跑线。DolphinScheduler 把这条流水线拆给两类节点执行——Master 负责"看流程、派活"，Worker 负责"真正干活"，两者之间用 Netty 做 RPC 通信。Master 并不是唯一的主节点，而是一组对等的 Master 集群：每个 Master 通过 ZooKeeper 临时节点上报自己在跑哪些工作流，谁挂了，临时节点消失，其他 Master 立刻感知并接管。这就是去中心化高可用的核心。

选哪个 Worker 执行，由master.host.selector决定，内置Random、RoundRobin、LowerWeight三种策略。默认LowerWeight按"最低负载"派活：每台 Worker 通过worker.host.weight上报权重，Master 挑当前压力最小的那台——异构集群里大机器自动多干活，不用手工配比。

# master.properties：三选一，默认按最低负载派活 #master.host.selector=LowerWeight # worker.properties：节点权重，数值越大权重越高 #worker.host.weight=100

一句话小结：依赖是数据（存 DAG），调度是算法（拓扑推进），节点是资源（ZooKeeper 注册 + 负载派活），三者解耦，加机器就能线性扩容。

节点挂了：failover 如何接管没跑完的工作流

Master 崩溃时，它正在跑的工作流实例不能丢。源码里FailoverExecuteThread每分钟扫描一次：通过processService.queryNeedFailoverProcessInstanceHost()找出"主机已不在 ZooKeeper 存活列表"的工作流实例，然后抢一把 ZooKeeper 分布式锁（registryClient.getLock(failoverPath)），防止多个 Master 同时接管同一批任务，抢到锁的 Master 调用failoverMaster(host)把这些实例挪到自己名下继续推进。整个过程无需人工介入，间隔由master.failover.interval控制（默认 10 秒级轮询）。

一句话小结：故障转移不是"选举新主"，而是"每个 Master 都盯着别人的临时节点，死了就抢锁干活"，没有单点。

任务失败了：会不会自动重试，怎么配

会。重试是任务级配置，画布上每个任务节点都能单独设置失败重试次数和间隔：上游任务失败后，Master 按配置自动重新提交，重试期间下游任务一直等待，全部重试次数耗尽才算最终失败并触发告警。这是"任务定义"的一部分而非全局开关，意味着同一条流水线里，Spark 作业可以设 3 次重试、幂等的 SQL 任务可以设 5 次，互不影响。

// 任务定义中与重试相关的字段（TaskDefinition） { "taskPriority": "MEDIUM", "timeout": 0, "delayTime": 0 } // failureRetryTimes / failureRetryInterval 在画布任务配置面板设置

配合超时告警（任务超过阈值时间未完成即报警）和"指定节点恢复"（跳过已成功的上游，从某个失败节点续跑），值班同学要做的事从"盯着重跑"降级为"看告警做决策"。

一句话小结：重试、超时、告警、续跑四个动作覆盖了任务失败后 90% 的处置路径，剩下的才是人。

角色视角：它到底帮谁省了什么力

不按行业、按角色看，四类人拿到 DolphinScheduler 后，省掉的东西各不相同。

数据工程师——省掉的是"记依赖"和"对脚本"。以前依赖关系散落在 crontab、README 和口头约定里，交接一个人就要重新考古一遍；现在依赖画在 DAG 上，谁依赖谁一目了然，任务参数抽成全局变量，改一处生效全链路。补数据（重跑历史某几天的分区）是内置功能，不用再写一次性的重放脚本。

架构师——省掉的是"扩容评审"和"插件开发"。执行层是标准 Master/Worker 集群，任务分发能力随节点数线性增长，加机器不用改代码；新任务类型通过 SPI 插件机制扩展，dolphinscheduler-task-plugin目录下 Shell、Spark、Flink、HTTP 等每种任务都是一个独立插件包，实现TaskPlugin接口、丢进task.plugin.dir目录即可被 Worker 加载，不必改调度内核。

运维——省掉的是"凌晨人工接管"。节点故障 failover 自动完成，Worker 队列机制（worker.exec.threads限制单机并行数）让机器过载时任务排队而不是雪崩，CPU 负载和内存指标直接暴露在监控页，配合worker.max.cpuload.avg、worker.reserved.memory两个阈值，还能让超载节点自动"拒接新任务"。

业务方——省掉的是"催数据"。工作流运行状态、任务成功率、历史实例的树形图和甘特图都在界面上，报表什么时候能出、卡在哪一步，业务方自己点开就能看，不用再问"数据好了没"。

一句话小结：同一套系统，工程师拿到确定性，架构师拿到弹性，运维拿到自动兜底，业务方拿到可预期。

落地与选型：怎么跑起来，和别的调度系统怎么选

三步跑起来

# 1. 获取源码 git clone https://gitcode.com/gh_mirrors/dolp/dolphinscheduler.git # 2. 编译二进制包 cd dolphinscheduler && ./mvnw clean install -Prelease # 3. 产物在 dolphinscheduler-dist/target 下： # apache-dolphinscheduler-*-bin.tar.gz 为部署包

部署上三条路：单机/传统集群走解压 bin 包 +install.sh初始化元数据库；容器化走 Docker（仓库 docker/ 目录提供 docker-swarm 与 docker-compose 配置）；生产 K8s 环境走 Helm Chart（docker/kubernetes/ 下已有完整 templates，api/master/worker 各为独立 Deployment/StatefulSet）。参考仓库内的 README 可确认默认端口与组件划分。

关键配置速查（改之前先看注释，全部为可选项）：

和其他调度系统怎么选

选型结论一句话：团队里"会点页面的"和"会写代码的"混编、任务以大数据批处理为主、又不想为 DAG 写 Python——DolphinScheduler 的画布式定义和独立 Worker 池是最省磨合成本的组合；已有重度 Airflow 代码资产则不必强迁。

回到凌晨三点：给值班同学的行动建议

回到开头那个场景：报表依赖链说不清、失败全靠人肉重跑、加机器没人敢加。对照下来，这三件事在 DolphinScheduler 里分别对应 DAG 画布、任务级失败重试、LowerWeight 自动派活——每一项都是把"人脑里的隐性知识"落成"系统里的显性配置"。建议从最小闭环开始：先挑一条最疼的依赖链（比如那条报表链路），用画布重画一遍并给每个节点配上重试次数和超时告警，跑一周观察 failover 和重试日志，确认无误后按worker.groups把工作流分批迁移。依赖关系被系统接管的那一刻，值班同学就可以把"谁依赖谁"这个问题从脑子里彻底删掉了。

【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/gh_mirrors/dolp/dolphinscheduler