ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

离线数据开发:分层设计、表参数与性能调优实战

离线数据开发:分层设计、表参数与性能调优实战

1. 离线数据开发的分层设计思路与取舍逻辑

凌晨两点被调度告警叫醒,打开监控一看,ODS 到 DWD 的某个任务跑了四个小时还没结束——这种场景做离线开发的人多少都经历过。第四章要聊的,恰恰是把"能跑通"变成"跑得稳、跑得省、跑得可维护"这一段的功夫。离线数据开发说白了就是把分散在各业务系统里的原始数据,按天(或按小时)搬运、清洗、关联、汇总,最终变成能被报表、分析、算法直接消费的表格。它解决的是"数据从哪来、怎么算、算完放哪"的问题,适合刚入行的数据开发、转岗的分析师,也适合已经写了半年 SQL 但从来没想过为什么要分层的同学。

我见过不少团队,前三个月靠一张几百列的宽表就撑住了所有需求,到了第六个月,改一个字段要牵动十几张报表,跑一次全量要八个小时,谁都不敢动。所以这一章我不打算只讲"ODS 贴源、DWD 明细、DWS 汇总、ADS 应用"这种背课文式的分层,而是想把每一层为什么存在、边界在哪、什么情况下可以打破讲清楚。因为分层从来不是目的,它只是一个用来控制复杂度和成本的工具,工具用错了,比不用还麻烦。

1.1 从一张"万能宽表"的翻车现场说起

早些年我接手过一个业务线的离线链路,前一任开发图省事,把订单、商品、用户、支付四个域的数据全塞进一张表,字段数量接近四百个,每天全量覆盖。上线头两个月风平浪静,第三个月问题集中爆发:商品名称改了,历史订单里的商品名跟着变了,财务对不上账;用户等级调整,去年的订单统计口径整体漂移;更致命的是,某个上游表的字段类型从 int 改成 string,整条链路静默失败,第二天早上才发现报表全是空值。

这就是不分层的典型代价。贴源层不保留原始快照,明细层就没有还原历史的能力;明细层和汇总层揉在一起,口径变更就没有缓冲地带。后来我们花了三周做重构,把这张宽表拆成 ODS 的六张贴源表、DWD 的三张明细事实表和两张维表、DWS 的四张轻度汇总表,重构之后单个任务的耗时从平均四十分钟降到十二分钟,口径变更的平均响应时间从两天压缩到半天。

注意:分层不是为了好看。每增加一层,就多一次落盘、多一份存储、多一段调度依赖。如果你的业务日增数据只有几个 G、需求方只有两三个人,硬套四层架构纯属给自己找麻烦,两张表就够了。

1.2 四层架构的职责边界到底怎么划

我把每一层的判断标准总结成一句话:看这一层的数据"能不能被复用"以及"改动的影响半径有多大"。ODS 层只做搬运和极轻的格式统一,不写任何业务逻辑,它的价值在于"可回溯"——任何时候业务方说"这个数不对",你都能从这里重新算一遍。DWD 层是投入产出比最高的一层,它承担了绝大部分清洗、去重、关联、脱敏的工作,输出的是粒度最细、口径最稳定的事实,比如"一行一个订单"、"一行一次支付流水"。

DWS 层开始做聚合,按主题、按维度组合预计算,它的存在意义是"让下游少算"。ADS 层则完全面向具体应用,报表要什么就给什么,可以为了查询性能牺牲存储,甚至可以宽到离谱。我在实际项目里常用的判断方式是:如果一张表的字段超过八十个、且其中一半以上只有某一个报表在用,那它大概率应该待在 ADS 而不是 DWD。

层级数据粒度是否保留历史典型改动频率主要消费者
ODS与源系统一致按天快照或增量极低DWD 开发
DWD最细业务粒度全量或拉链低DWS、专题分析
DWS主题+维度聚合按天分区中ADS、自助分析
ADS应用定制按天分区高报表、接口、算法

这张表我一般会贴在团队文档首页,新人进来第一件事就是对着它判断"我这个需求该放哪一层"。判断错了会有什么后果?最典型的是把聚合逻辑写进 DWD,导致下游想算另一个维度组合时无路可走,只能回头重跑,白白浪费一天。

1.3 维度建模与宽表化之间的现实取舍

教科书上维度建模讲得很理想:事实表加维度表,星型结构,干净漂亮。现实里你面对的是一个需求方下午五点半跑过来说"明天早上要看到分省份分渠道分会员等级分商品类目的销售额"。这时候如果严格按范式建模,你得关联五六张表,每次查询都要现算,跑一次几分钟。

我的做法是底层守规范,上层放宽表。DWD 严格按维度建模,事实表和维表分开,保证口径可复用;DWS 层则按"常用维度组合"做适度宽表化,把高频关联的维度属性冗余进去。这里的冗余是有代价的——维表属性变更时要回刷历史分区,所以我会在 DWS 表里保留维度 ID 和维度版本号,配合拉链表处理缓慢变化维。

拉链表这块多说一句。订单事实表里关联商品维表时,到底用下单时刻的商品属性,还是用当前的商品属性?这两个答案在不同场景下都对。财务结算要用下单时刻的,商品运营分析要用当前的。所以维表必须做拉链表,带start_date和end_date,事实表关联时用dt between start_date and end_date。这个设计在项目初期多花两天,但能省掉后面无数次"数据对不上"的扯皮。

2. 表设计的核心细节与关键参数

表和表之间的差距,往往不在 SQL 写得多花哨,而在建表那一刻就决定了。分区怎么切、文件存多大、字段用什么类型、压缩选哪个,这些看起来琐碎的决定,累积起来就是几倍的存储成本和几十分钟的跑批时间。我见过一个日增 200G 的明细表,因为分区粒度选错,每天产生三万多的小文件,光 NameNode 压力就让整个集群的其他任务跟着变慢。

2.1 分区粒度与文件大小的定量估算

分区字段的选择只有一个原则:让单次查询能裁剪掉绝大部分数据。日期是最常见的分区键,但日期之外要不要再加一层?我的经验是看两个数:日增数据量和查询的过滤条件。

举个具体的估算过程。假设某业务线日增订单明细 800 万行,单行平均 400 字节,原始大小约 3.2GB。落地成 Parquet 加 snappy 压缩,压缩比通常在 3 到 5 倍之间,取中间值 4,实际落盘约 800MB。这个体量一天一个分区完全合理,单个文件控制在 128MB 到 256MB,大约产生 4 到 7 个文件,非常健康。

但如果日增是 8000 万行,原始 32GB,压缩后 8GB,一天一个分区就偏大了——单分区扫描 8GB 在小集群上也要几十秒。这时候我会按小时分区,dt+hour两级,每分区约 340MB。再往上,如果某条业务线的数据分布极度倾斜(比如大促当天是平日的二十倍),我会改用dt+bucket的组合,或者在写入时按 hash 打散。

提示:小文件是离线集群的头号杀手。判断标准很简单,如果一个分区的文件平均大小低于 64MB,就该考虑合并了。文件太小,每个文件都要打开一次、读一次元数据,开销远超实际数据读取。

2.2 存储格式、压缩算法与字段类型的连带影响

存储格式我只推荐两种:Parquet 和 ORC。列式存储对分析型查询的收益是数量级的,因为绝大多数查询只取部分列,列存能把无关列的 IO 完全省掉。Parquet 生态兼容性好,Spark、Presto、Flink 都能读;ORC 在 Hive 体系里压缩率和谓词下推稍好一点。我的默认选择是 Parquet,除非整个技术栈高度绑定 Hive。

压缩算法上,snappy 解压快但压缩率一般,zstd 压缩率高但 CPU 开销大。冷数据(超过三个月、查询频率低)我倾向用 zstd,热数据用 snappy。这里有个容易被忽略的点:压缩算法是在写入时决定的,改算法意味着重写历史分区,所以建表时就要想清楚数据的热度生命周期,别等到存储告警了才想起来。

字段类型的坑更多。金额字段用 decimal 而不是 double,这个已经是常识了,但我还是见过用 float 存金额导致对账差几分钱的案例。时间字段统一用 string 存yyyy-MM-dd HH:mm:ss还是用 timestamp?我的建议是 ODS 层保留原始字符串,DWD 层转成标准格式的 string,原因很简单——timestamp 在不同引擎、不同时区设置下行为不一致,跨引擎查询时容易出问题,而 string 是确定性的。

设计项推荐选择不推荐的方案主要风险
存储格式ParquetTextFile、JSON全列扫描,IO 放大数倍
压缩算法热数据 snappy,冷数据 zstd不压缩存储成本翻三到五倍
金额类型decimal(18,2)double、float精度丢失,对账不平
分区键dt 或 dt+hour按业务 ID 分区分区数爆炸,元数据压力大

2.3 全量同步与增量同步的选择依据

贴源层的数据怎么进来,直接决定了后面所有层的稳定性。全量覆盖最简单,每天把源表整个拉一遍,逻辑上永远不会错,但代价是源表越大越慢,几千万行的表拉一次要一两个小时,还占带宽。增量同步只拉变化的部分,效率高,但需要源表有可靠的时间戳或者自增 ID,而且要考虑更新和删除怎么表达。

我的判断标准是三条:源表有没有可靠的自增主键或更新时间字段;源表允不允许物理删除;数据量级在什么范围。三条都满足且体量大的,走增量;只要有一条不满足,老老实实全量。

增量同步里最麻烦的是删除。源表把一行删了,增量拉取是感知不到的,下游就会一直保留这条"僵尸数据"。解决办法有两个:一是让源端做软删除(加is_deleted字段),二是在 DWD 层用"增量合并全量"的方式,即每天用当天的增量数据与前一天的全量快照做 merge,按主键去重取最新。第二种方式对存储有要求,需要保留全量快照,但逻辑最稳,我在几个核心业务线上都用的这套。

-- DWD 层每日全量快照的合并逻辑,按主键取更新时间最新的一条 INSERT OVERWRITE TABLE dwd_order_detail PARTITION (dt = '${bizdate}') SELECT order_id, user_id, sku_id, pay_amount, order_status, update_time FROM ( SELECT order_id, user_id, sku_id, pay_amount, order_status, update_time, ROW_NUMBER() OVER (PARTITION BY order_id ORDER BY update_time DESC) AS rn FROM ( SELECT order_id, user_id, sku_id, pay_amount, order_status, update_time FROM dwd_order_detail WHERE dt = DATE_SUB('${bizdate}', 1) UNION ALL SELECT order_id, user_id, sku_id, pay_amount, order_status, update_time FROM ods_order_increment WHERE dt = '${bizdate}' ) t ) ranked WHERE rn = 1;

这段 SQL 的关键在ROW_NUMBER的分区键和排序键。分区键必须是业务主键,排序键必须是能表达"谁更新"的字段。如果源表没有更新时间,只有update_date(精确到天),那同一天内的多次更新就无法区分,只能取任意一条,这时候就得回头推动源端补字段——这类问题越早暴露越好,别等到下游报表出错了再查。

3. 从贴源到应用的完整实操链路

光讲设计容易飘,我把一条完整的订单主题链路拆开走一遍,包括每一层的 SQL 骨架、调度依赖怎么配、参数怎么估。这条链路在一个日订单量百万级的业务线上跑了一年多,日均跑批时间从最初的九十多分钟压到二十一分钟,中间踩的坑我会在第四节集中讲。

3.1 贴源层落地:先把数据原样搬进来

ODS 层我不做任何业务加工,只做三件事:建表、同步、加审计字段。审计字段包括etl_time(入库时间)和src_name(来源标识),听起来没用,但排查问题时这两列能救命——比如发现某个分区的数据比其他分区少了一半,有etl_time就能立刻判断是同步任务提前结束了,还是源端真的没数据。

同步工具的选择上,批量关系型数据库的抽取我用 DataX 类工具,配置简单、社区方案多;日志类或消息类的数据走文件落地再上传。这里有个细节:同步任务的并发度和源库的压力是一对矛盾。我一开始给某个核心库配了十六个并发,结果白天同步直接把源库 CPU 打满,业务方打电话过来投诉。后来改成夜间低峰跑,并发降到四个,单表同步时间从十二分钟变成三十五分钟,但业务无感,这笔买卖划算。

同步完成后必须做行数和金额的双重校验。行数校验防丢失,金额校验防截断——我曾经遇到过源表某个 decimal 字段精度超出目标表定义,数据被静默截断,行数完全一致,只有汇总金额对不上。这个校验逻辑我写成了一个通用的比对脚本,每次同步完自动跑,差异超过千分之一就告警。

3.2 明细层加工:清洗、去重、脱敏一个都不能少

DWD 层是整条链路里最费脑子的地方。订单明细表要处理的典型问题包括:重复数据(同一个订单被同步了两次)、状态回退(订单从已支付变回待支付,通常是源系统的异常)、字段缺失(用户 ID 为空的历史脏数据)、以及敏感信息脱敏。

去重我用ROW_NUMBER按主键加更新时间排序,取第一条,逻辑和上一节的合并 SQL 一致。状态回退的处理要谨慎,不能简单粗暴地过滤掉,因为有些回退是合法的(比如退款导致的订单状态变更)。我的做法是维护一张状态流转白名单表,只有白名单里定义的状态转换才允许通过,其余的打标进入异常表,由业务方定期 review。

脱敏这块要注意脱敏的时机。在 DWD 层脱敏意味着原始值再也找不回来了,如果后面有对账需求(比如和支付渠道核对手机号后四位)就会很被动。所以我的方案是 DWD 保留原文,另外建一张 DWD 的脱敏视图给分析同学用,权限层面做隔离。这个做法会增加一点存储,但避免了"脱完敏发现还要原始值"的尴尬。

-- DWD 订单明细主表,含状态白名单校验与异常标记 INSERT OVERWRITE TABLE dwd_order_detail PARTITION (dt = '${bizdate}') SELECT o.order_id, o.user_id, o.sku_id, o.pay_amount, o.order_status, o.create_time, o.update_time, CASE WHEN w.from_status IS NOT NULL OR o.order_status = 'created' THEN 'normal' ELSE 'abnormal' END AS data_status FROM ( SELECT *, ROW_NUMBER() OVER (PARTITION BY order_id ORDER BY update_time DESC) AS rn FROM ods_order WHERE dt = '${bizdate}' ) o LEFT JOIN dim_status_whitelist w ON o.order_status = w.to_status WHERE o.rn = 1;

这段 SQL 里,白名单表是一张小维表,可以走 map join,不会产生 shuffle。data_status字段是给下游做过滤用的,正常情况下 DWS 只消费normal的数据,异常数据单独进一张表供排查。这种"打标不丢弃"的思路我觉得比直接过滤要好,因为数据问题往往是批量性的,直接过滤会让下游报表凭空少一块,反而不容易发现。

3.3 汇总层聚合:口径固化与维度组合的取舍

DWS 层的核心任务是把口径固定下来。什么叫口径固定?就是"销售额"这个词在整个团队里只有一个算法,所有人查出来的数都一样。做法是把指标定义写成配置文件或者元数据表,SQL 从配置里读,而不是每个人自己写sum(pay_amount)。

维度组合的选择要看实际查询模式。我一般会统计近三十天的查询日志,把出现频率最高的维度组合(比如"日期+渠道+品类"、"日期+省份+会员等级")各建一张表。这里不要贪多,我曾经一口气建了十二张 DWS 表,结果每天多跑四十分钟,其中五张表的查询次数是个位数,纯属浪费。后来砍到五张,覆盖了 90% 以上的查询。

聚合的粒度也有讲究。count(distinct user_id)这种去重指标在聚合层没法再往上滚(不能把每天的 UV 直接相加得到周 UV),必须保留明细或者用位图。位图方案(比如把 user_id 哈希后存成 bitmap)在大数据量下很有效,但增加了实现复杂度,日活千万以下的场景我一般直接用明细层现算,简单可靠。

3.4 应用层对接与调度依赖的编排

ADS 层完全服务于具体应用,指标口径跟着报表走。这一层我建议尽量薄,能复用 DWS 就复用,实在不行才新建。因为 ADS 的变更频率最高,报表改个样式、加个筛选条件都可能影响表结构,如果逻辑都堆在这一层,维护成本会失控。

调度依赖的编排有几个实操原则。第一,依赖要跟着数据走,不要跟着时间走。我见过有人把所有任务都设成凌晨两点启动,靠 sleep 错峰,结果上游延迟十分钟,下游全乱。正确做法是配真实的数据依赖,上游分区产出后才触发下游。第二,关键路径上的任务要设优先级和超时告警,非关键路径的可以放宽。第三,重跑必须幂等,也就是INSERT OVERWRITE而不是INSERT INTO,同一个分区跑十次结果一样。这条是底线,做不到幂等,一次失败重跑就可能让数据翻倍。

# 调度配置示例(伪配置,用于说明关键字段) task: dws_order_daily schedule: "0 30 2 * * ?" # 每天 02:30 启动 depends: - dwd_order_detail@${bizdate} - dim_user_info@${bizdate} timeout: 3600 # 超时一小时告警 retry: 2 # 自动重试两次 priority: high

优先级这个字段在实际运维中很有用。集群资源紧张的时候,高优先级的任务先拿到资源,能保证核心报表按时产出。但优先级不要滥用,全是高优先级等于没有优先级,我一般只给三到五个核心任务设高优。

4. 性能瓶颈的定位与资源调优

离线任务跑得慢,原因基本逃不出四类:数据倾斜、小文件过多、shuffle 数据量过大、资源分配不合理。这四类问题的表现不同,定位手段也不同,混在一起调往往事倍功半。我的习惯是先看任务的执行计划,找到耗时最长的 stage,再针对性下手。

4.1 数据倾斜的识别与三种解法

数据倾斜的典型症状是:任务整体卡在 99% 不动,打开执行详情发现大部分 reduce 早就完成了,剩下一两个卡了半小时。原因通常是某个 key 的数据量远超其他 key,比如大促期间某个头部店铺的订单量是普通店铺的几千倍。

识别方法很简单,对 join key 或者 group by key 做一次分布统计,看最大分组的占比。超过 10% 就要警惕,超过 30% 基本必须处理了。

解法有三种,按成本从低到高。第一种是map join,把小表广播到每个节点,适用于大表 join 小表的场景,阈值一般设 25MB 到 100MB,超过就别勉强。第二种是热点 key 打散,给倾斜的 key 加随机后缀,先局部聚合再全局聚合,适用于 group by 场景。第三种是拆分处理,把倾斜 key 的数据单独抽出来用一个任务算,剩下的大多数走正常流程,最后 union。第三种最土但最可靠,我在处理超大促场景时经常用。

-- 两阶段聚合解决 group by 倾斜:先加随机后缀局部聚合,再去后缀全局聚合 SELECT user_id, SUM(partial_amount) AS total_amount FROM ( SELECT user_id, SUM(pay_amount) AS partial_amount FROM ( SELECT CONCAT(user_id, '_', CAST(RAND() * 10 AS INT)) AS user_id, pay_amount FROM dwd_order_detail WHERE dt = '${bizdate}' ) t1 GROUP BY user_id ) t2 GROUP BY user_id;

这个方案的前提是聚合函数可拆(sum、count 可以,count distinct 不行)。RAND()的倍数取多少要看倾斜程度,一般取 5 到 10 就够了,取太大反而增加 shuffle 数据量。

4.2 小文件治理与 shuffle 分区数估算

小文件的产生有三个主要来源:动态分区写入时分区数过多、频繁的小批量 insert、以及上游任务输出文件数没控制。治理手段分事前和事后。事前是控制写入时的文件数,通过调整reduce数量或者写入前的重分区。事后是定期跑合并任务,把小于阈值的小文件合并成 128MB 左右的大文件。

shuffle 分区数这个参数被很多人忽略,默认值 200 在面对几百 GB 数据时明显不够,会导致单个分区处理上 GB 的数据,内存溢出或者频繁刷盘。估算方法很简单:shuffle 数据总量除以单个分区的目标大小。假设某个 stage 的 shuffle 写入量是 500GB,目标每分区 128MB,那么 500 × 1024 / 128 = 4000,设成 4000 左右比较合适。设太大也不好,每个分区的启动开销会累积,我的经验是不要超过 20000。

问题现象大概率原因优先排查项处理手段
卡在 99% 不动数据倾斜join key 分布统计打散、map join、拆分
任务启动就慢小文件过多分区文件数与平均大小合并小文件、控制写入数
内存溢出shuffle 分区过少shuffle 写入量调大分区数、加内存
整体时间翻倍上游数据量突增源表行数趋势排查业务变化、扩容资源

4.3 存储成本与计算成本的联动优化

很多人只盯着任务跑得快不快,不看存储花了多少。一个中型数据团队一年存储成本几十万很常见,其中至少三成是可以省下来的。我常用的三个手段:冷热分层、生命周期管理、以及冗余字段清理。

冷热分层的做法是把三个月以前的数据迁移到低频存储,查询频率低的表压缩算法换成 zstd。生命周期管理更直接,给每张表设保留天数,过期的分区自动清理——这一步一定要做,我见过保留了三年的中间表,占了整个集群 40% 的存储,实际上从来没被查过第二次。

冗余字段清理要谨慎。有些字段看着没人用,但可能是某个下游任务的隐式依赖(比如用SELECT *读表),删了直接报错。我的做法是先跑一个月的字段访问审计,统计每个字段的实际读取次数,连续三十天零访问的才考虑下线,而且下线前先改成 deprecated 注释,观察一周。这套流程慢,但比拍脑袋删字段安全得多。

5. 常见问题排查与避坑经验实录

离线开发的日常,一半时间在写 SQL,另一半在处理"昨天还好好的,今天怎么就错了"。这一节我把这些年攒下来的问题场景整理成速查表,再补充几个文档里不会写、但实际很致命的心得。

5.1 高频问题速查表

现象排查顺序常见根因修复方式
分区数据为空上游产出 → 同步日志 → 过滤条件上游延迟或依赖配错补依赖、重跑上游
数据量突然翻倍主键唯一性校验重跑未幂等、join 一对多改 INSERT OVERWRITE、加去重
金额对不上精度类型 → 关联放大 → 币种decimal 截断、维表一对多改类型、加去重逻辑
任务突然变慢十倍数据量趋势 → 执行计划数据倾斜、小文件激增按 4.1、4.2 处理
指标口径争议指标定义文档 → SQL定义未固化、多人各写各的建指标元数据、统一口径

这张表我基本上每个月都会更新一次,新踩的坑往里加。它的价值在于给排查提供顺序,很多时候人一慌就乱查,先看上游产出、再看同步、最后看自己的 SQL,八成问题在前两步就解决了。

5.2 数据质量校验必须前置到链路里

数据质量这件事,事后发现和事前拦截的成本差十倍。我现在的习惯是每个关键节点都挂校验,校验不过就阻塞下游,宁可让报表晚出半小时,也不要出一份错的数让业务方做决策。

具体的校验规则我分成四类。完整性:主键非空、分区行数环比波动不超过 ±30%。唯一性:主键在分区内不重复。有效性:枚举字段取值在允许范围内、金额不为负、时间不超过当前时刻。一致性:上下游行数对得上、金额汇总对得上。这四条覆盖了 80% 以上的数据问题。

波动阈值这个参数要按业务特点调。有明确周期性的业务(比如工作日和周末差异大)不能用简单的环比,得用同比或者按星期几分组算基线。我一开始给所有表统一设 ±30%,结果某张周末数据只有工作日三成的表天天告警,告警一多就没人看了,这是最危险的状态——告警疲劳比没有告警更糟。

5.3 几条只能在实战里学到的经验

第一条,别在 DWD 层做业务判断。我见过有同学在明细层直接过滤掉退款订单,理由是"下游不需要"。半年后财务要做退款分析,发现数据根本不存在,只能回刷一年的历史。明细层的原则是"尽可能全,只去脏不去业务"。

第二条,SQL 要写给三个月后的自己看。字段别名写清楚含义,复杂的 CASE WHEN 加注释说明业务规则,临时表命名带上用途前缀。我重构过一个没有任何注释的链路,两百多行 SQL 读了整整一天才搞明白某个过滤条件为什么是status in (1,3,7)。

第三条,跑批时间要和业务使用时间对齐。核心报表要求早上九点看到,那链路必须在八点半之前完成,中间留半小时的缓冲。我见过任务卡着 08:59 完成的,某天上游慢了五分钟,整个业务线早上就没数看。缓冲时间不是浪费,是保险。

第四条,所有的手工操作都要脚本化。临时补数、手工改分区、紧急重跑,只要做过两次以上,就写成脚本。原因很现实——凌晨三点人是最容易出错的,手抖删错分区的事我干过一次,恢复花了六个小时。

注意:补数脚本一定要加二次确认和影响范围打印。先 dry run 输出"将影响 N 个分区、M 张下游表",确认无误再执行。这个习惯帮我避免了好几次事故。

第五条,资源不是越多越好。给任务无脑加内存和执行器数量,往往只是让它在 shuffle 阶段卡得更久。先看清楚瓶颈在 IO 还是 CPU 还是网络,再决定加什么。我的经验是,八成以上的"跑得慢"不是资源不够,而是数据分布和 SQL 写法的问题。

补充一个关于历史数据回刷的经验。业务口径变更后回刷历史,最怕的是刷到一半失败,数据处于半新半旧的状态。我的做法是先刷到一张临时表,全量校验通过后再用分区exchange 的方式原子切换,切换前保留旧分区快照一周。这样即使新数据有问题,也能在十分钟内回滚。这个过程听起来繁琐,但一次口径变更动辄涉及几十张下游表,稳妥比快重要得多。

返回列表