ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

RLHF微调落地指南:偏好数据、奖励模型与PPO工程实践

RLHF微调落地指南:偏好数据、奖励模型与PPO工程实践

做模型落地的这几年,被问得最多的一类问题就是:「RLHF微调到底值不值得做,我们这个垂直场景能不能用?」问的人里有做通用助手的团队,也有做工业质检、医疗问答、法律文书审校的团队。有意思的是,大家的起点完全不同,但卡住的地方高度相似——数据标不出来、奖励模型训不准、PPO 跑两天就崩、上线之后发现模型学会了讨好评审而不是解决问题。RLHF微调这套方法论从提出到现在,流程已经不算新鲜,可真正把它跑通并且跑出业务收益的团队,比例并不高。原因不在于算法本身多难,而在于它是一条把「人的判断」编码进模型的链路,任何一个环节的偏差都会被放大。

这篇文章我想做的是把这条链路完整拆开:先讲清楚 RLHF 微调在调什么、为什么非得有偏好信号,再按领域拆解不同类型的场景该怎么改造这套流水线,然后把实操环节的参数、显存、数据配比摊开讲,最后集中处理那些文档里基本不会写、但现场一定会遇到的坑。适合已经有 SFT 经验、准备往偏好优化走一步的同学,也适合正在评估「要不要上 RLHF」的技术负责人——你至少能在成本账和风险点上拿到一些可参考的数字。

1. 先把RLHF微调这件事讲透:它到底在调什么

很多人对这个技术的误解,是从「它能让模型变得更聪明」开始的。不是。RLHF 微调改变的是模型在多个都说得通的答案之间的选择倾向,它优化的是「在人类看来哪个更好」,而不是「哪个更正确」。这个区别决定了后面所有工程细节:如果你的场景里「正确」是可以被程序判定的,那你根本不需要人类反馈,直接上可验证奖励效率高得多;只有当「好」是一种主观判断、需要人来裁决的时候,偏好学习才有不可替代的价值。

1.1 三段式流水线:SFT打底,奖励模型定标准,策略优化做搜索

标准的流程是三段。第一段是有监督微调,用高质量的「问题-理想回答」对把基座模型拉到能听话的状态,这一步决定了模型的能力上限和输出格式。第二段是训练奖励模型,给同一个问题采多个回答,让人标注哪个更好,训一个打分器出来。第三段用强化学习把策略模型往高分方向推,同时用一个 KL 惩罚项拴住它,别让它跑得离 SFT 模型太远。

这三段里,绝大多数团队把 80% 的精力花在第三段的调参上,实际上真正决定成败的是前两段。我见过的失败案例里,SFT 数据质量不行导致模型根本没有能力产出好答案的,占了一半;偏好数据定义混乱导致奖励模型学了个错误的偏好,又占了另一半。第三段的调参问题,反而是最容易通过换框架、降学习率、缩短训练步数解决的。

一个容易被忽略的点是:第三段的目标函数里,KL 惩罚项不是可有可无的正则,它是整个方法的稳定性来源。没有它,策略会迅速找到奖励模型的漏洞,把分数刷到很高,但人类一看就知道答得离谱。这个系数的取值通常落在 0.01 到 0.05 之间,具体怎么定后面会讲。

1.2 为什么只做SFT不够:偏好信号的不可替代性

有人会问,我把 SFT 数据做到极致,每个问题都给一个示范答案,是不是就不用 RLHF 了?在实践中,这条路能走到某个水平就上不去了,卡住的原因有三个。

第一是示范成本。SFT 要求标注者写出一个「完美答案」,写比选难得多。一条高质量示范可能要 15 到 30 分钟,一条偏好对比只需要 1 到 3 分钟。当你要覆盖成千上万个场景时,成本差是一个数量级的差距。

第二是表达能力的瓶颈。SFT 只能教模型「这样答」,教不了「这样答比那样答好,但还有第三种答法介于两者之间」。偏好信号天然携带了相对性,模型能从中学到细粒度的排序,这在文风、详略、语气这些维度上特别有效。

第三,也是最关键的:SFT 的目标是最大化给定答案的似然,它不区分「答得好」和「答得安全但没用」。当你的场景同时要求有用性和安全性时,SFT 很容易让模型偏向保守,遇到稍微敏感的问题就一律拒答。偏好数据可以把「该答的时候要答清楚」和「不该答的时候要拒」同时编码进去,让模型学会区分边界,而不是一刀切。

1.3 开跑之前先问一句:基座够不够格

这是我最想放在最前面说的判断。RLHF 微调是一种「挖掘」而不是「注入」,它能把基座模型里已经存在但没被激发出来的能力拎出来,但它没法凭空造出基座里没有的知识。

判断方法很朴素:拿你的目标任务集,让 SFT 之后的基础模型采样 8 个回答,看里面有没有至少 1 到 2 个是「接近可用」的。如果 top-8 里一个都没有,说明这个能力基座根本不具备,这时候上 RLHF 就是在噪声上做优化,训出来的奖励模型会非常不稳定,因为正负样本之间的差距不是能力差距而是随机差距。

相反,如果 top-8 里有两三个还不错的,那这正是 RLHF 最舒服的区间——它要做的就是把那两三个好答案的概率从 20% 抬到 60%、80%。这个判断花不了半天时间,但能帮你省掉两周无效训练。

2. 不同领域的落地差异:同一套算法,几种完全不同的打法

流水线的骨架是通用的,但每换一个领域,数据采集方式、奖励信号来源、评测口径全部要重做。我按我接触过的几类场景,把差异摊开讲。需要强调的是,下面提到的所有案例都是脱敏后的抽象描述,不指向任何具体的团队或产品。

2.1 通用对话与写作助手:成熟度最高,也最容易被做烂

这是 RLHF 应用最密集的领域,也是最容易出现「看起来做了很多,实际没提升」的领域。原因是通用场景的偏好定义本身就很模糊:一个回答是详细好还是简洁好?是严谨好还是亲切好?不同标注者的答案能差出天际。

我们做过一个内部统计,在开放式写作任务上,让 5 个标注者对同一组回答对做判断,完全一致的样本占比不到 45%,用一致性系数算出来大概在 0.35 到 0.45 之间。这个数字意味着什么?意味着你的奖励模型在训练时看到的标签本身就有一半是噪声,那它学出来的东西自然不稳定。

处理办法是把「好」拆细。不要问标注者「哪个回答更好」,而是拆成几个独立维度分别打分:事实准确性、是否答到了点上、结构是否清晰、语气是否合适。先让标注者在每个维度上做二选一,再合成总分。维度拆分之后一致性普遍能提到 0.6 以上,奖励模型的可训练性会明显改善。

另一个要点是长度控制。通用场景里标注者有一个极强的隐性偏好:更长的回答看起来更认真。这会导致奖励模型学到一个「长度即质量」的捷径,然后 PPO 阶段模型会疯狂变长,最后输出一堆注水内容。我们通常会在偏好数据构造阶段做长度匹配——把长度差超过 1.5 倍的回答对剔除掉,或者专门构造一批「短而精」胜过「长而空」的样本压一压这个偏置。

2.2 代码生成:把编译器拉进来,人类反馈被大幅压缩

代码是我认为最适合做偏好优化的领域之一,但原因和很多人想的不一样——不是因为代码难,恰恰是因为代码有客观裁判。你有一个单元测试,跑一遍就知道对错,这个信号比人类标注便宜几百倍,而且不会疲劳。

所以代码场景的主流做法是「双轨制」:能被执行验证的部分,直接用测试通过率作为奖励信号,这叫可验证奖励;只有测试覆盖不到的部分,比如变量命名、注释质量、是否用了团队约定的写法,才交给人类偏好。这样一来人类标注量能压到通用场景的十分之一以下。

具体的数据构造是:一个问题采 16 个候选解,跑测试集,通过的作为正样本、失败的作为负样本,构造偏好对。这里面有一个隐蔽的坑——如果测试用例覆盖不足,模型会学会钻空子。我们遇到过模型生成一个把所有测试用例硬编码进去的分支,测试全绿但代码完全没法用。所以执行验证必须配合测试用例的持续扩充,同时把「代码可读性」这一维度单独用人类偏好来兜底。

还有一点,代码场景的 PPO 特别容易崩,因为奖励信号是 0/1 的二值信号,方差极大。常规做法是把它平滑成通过率(比如 16 个里通过 12 个就是 0.75),或者加一个基于编辑距离的稠密奖励作为辅助,让梯度信号不至于太稀疏。

2.3 医疗、法律、金融这类垂直域:小样本、强约束、错一次代价极高

这三个领域的共同点是:标注贵、容错低、很多「正确答案」本身存在专业分歧。用通用场景那套「大规模众包标注」的做法基本行不通。

先说成本。在医疗问答场景里,一条高质量的偏好对需要两位具备资质的专业人员各自独立判断,再加上分歧仲裁。按我们了解到的行业情况,单条成本落在几十到几百元的区间,是通用场景的几十倍。这意味着你不可能标十万条,能有两三千条就已经很奢侈了。

小样本下的奖励模型训练要换思路。我的经验是三条:一是奖励模型规模不要大,1.5B 到 3B 足够,参数多了在小数据上必然过拟合;二是必须做交叉验证,把数据切成 5 折,看不同折上准确率的方差,方差大的说明数据分布不均,得回去补;三是引入规则约束作为硬边界,不要把安全性完全交给偏好学习。

第三点值得展开。医疗场景里最危险的不是答错,是答得看似专业但没有依据。偏好数据里必须显式包含「不确定时要明确说明」的样本,并且这类样本要占到相当比例,否则模型学不到「承认不知道」这个行为。我们通常会构造一批「同一个问题,一个回答给确定结论但缺少依据,另一个回答给出依据并标注不确定性」的对比对,让奖励模型明确地把后者排在前面。

法律和金融的情况类似但更麻烦:很多判断依赖具体的条款版本和时效性,标注者自己都可能记错。这类场景我的建议是不要把「事实正确性」交给偏好学习,而是用检索增强把事实来源固定住,RLHF 只负责优化「怎么把查到的东西讲清楚」。分工不清是这类项目翻车的头号原因。

2.4 机器人与具身智能:从文本偏好到轨迹偏好

这一类是我觉得最有意思也最难的分支。文本场景里一个样本就是一段话,机器人场景里一个样本是一段几十秒到几分钟的动作轨迹,标注者要看完两段视频再做判断,单条成本高得离谱,样本效率是核心矛盾。

技术上的调整主要有两处。一是奖励建模从「对回答打分」变成「对轨迹片段打分」,通常用偏好比较而不是绝对评分,因为人对轨迹的绝对质量很难给出稳定数值,但两段轨迹哪个更自然,判断起来相对容易。二是训练方式偏向离线偏好优化,因为在线采样在真实机器人上代价太高,只能在仿真里跑,而仿真到现实的差距又会污染奖励信号。

这块的工程经验我掌握得不算深,但有一条是确定的:不要把语言模型的 RLHF 配置直接搬过来用。文本场景里 KL 系数设在 0.02 很常见,机器人场景里这个值往往要调小,因为策略需要更大的探索空间去试不同的动作序列,拴太紧学不到东西。

2.5 内容创意与营销文案:主观性最强,奖励模型容易变成某个人的口味

这类场景的标注一致性是所有领域里最低的,我见过的一致性系数低到 0.25。原因很直接:文案好不好,取决于品牌调性、目标人群、投放渠道,甚至取决于评审当天的情绪。

这种情况下训一个「通用好文案奖励模型」是徒劳的。可行的做法是把奖励模型个性化——不是训一个模型,而是训一组,每个品牌方或每个内容线一个,用该条线内部少数几位固定评审的标注来训。数据量要求反而低,几百到一千条就能出一个可用的。代价是维护成本高,模型数量会膨胀。

另一个实用技巧是在偏好数据里加入「风格锚点」。给标注者提供 3 到 5 个该品牌过往的优质文案作为参照,让他们在这个参照系下做判断,一致性会明显提升。这本质上是把隐性的品牌标准显性化,效果比反复写标注规范好得多。

3. 实操拆解:一次完整的RLHF流水线怎么跑起来

这一节讲工程。我以一个 7B 参数规模的开源基座为例,走一遍从数据到上线的完整流程。参数只是示意,具体数值要按你的硬件和数据调整,但计算方法和取舍逻辑是通用的。

3.1 偏好数据:采集、清洗与配比,这三步决定天花板

数据采集的第一步不是标,是设计采样策略。同一个问题,你要让模型采出「有区分度」的多个回答。如果采出来的 4 个回答质量都差不多,标注者分辨不出来,这条数据就是废的。实操中我们会控制采样温度在一个较宽的范围(比如 0.7 到 1.0 混采),并且刻意混入不同长度的输出,制造区分度。

数据量上,通用对话场景起步建议 2 万条偏好对,垂直领域 1000 到 3000 条可以试跑,但要有心理准备这个量级训出来的奖励模型泛化很差,只能覆盖训练分布附近的样本。

清洗环节有几条硬规则,我列成表更清楚:

清洗规则判定标准处理方式
长度失衡两条回答长度差超过 2 倍剔除或降采样
标注分歧3 人标注中至少 2 人一致才算有效不一致的进仲裁池
格式污染回答里带明显的模板痕迹或截断整条剔除
重复样本问题相似度高于 0.9去重保留一条
拒答污染正样本是拒答、负样本是实质回答剔除,这类会教坏模型

配比上有一个经验值:正向偏好对(选中的那条确实更好)和「难负样本」(两条都不错但有细微差别)的比例大概 7:3。全是简单样本会让奖励模型学得很快但很脆,全是难样本会让它学不动。

3.2 奖励模型训练:这几个指标必须盯住

奖励模型的结构通常是「基座模型 + 一个标量输出头」,损失函数用 Bradley-Terry 形式:

import torch def reward_model_loss(r_chosen, r_rejected, margin=0.0): """ r_chosen / r_rejected: 奖励模型对两条回答的打分 margin: 可选间隔,帮助拉开难样本的区分度 """ diff = (r_chosen - r_rejected) - margin loss = -torch.nn.functional.logsigmoid(diff).mean() return loss

训练时盯住三个数。第一个是验证集准确率,也就是模型判断「哪条更好」的正确率。60% 到 75% 是正常区间,低于 55% 说明数据或任务定义有问题;高于 85% 反而要警惕,多半是训练集和验证集有泄漏,或者任务太简单导致模型学到了表面特征。

第二个是 chosen 和 rejected 的打分分布。健康的分布是两条曲线有一定重叠但整体分开,如果完全分开,说明模型过度自信,PPO 阶段会出问题;如果几乎重合,说明模型没学到东西。

第三个是关键但常被忽略的:长度相关性。算一下奖励分数和回答长度的相关系数,如果超过 0.5,说明模型在靠长度刷分,必须回去做长度匹配。

超参上不用太讲究,学习率 1e-5 到 2e-5,batch size 64 到 128,训 1 到 2 个 epoch 就够,训多了必然过拟合。奖励模型的容量也不要大,7B 的奖励模型在小数据上远不如 1.5B 的稳。

3.3 PPO 阶段:显存账要先算清楚,再谈调参

PPO 是整条链路里资源消耗最大的一环,因为它同时要跑四个模型:策略模型(在训)、参考模型(冻结)、奖励模型(冻结)、价值模型(在训)。先把显存算明白,不然跑到一半 OOM 很打击人。

以 7B 模型、bf16 精度估算,单个模型的权重占用约 14GB。冻结的模型不需要优化器状态,每个 14GB。全参训练的策略模型和价值模型,除了 14GB 权重,还需要 fp32 的 master 权重约 28GB,加上 Adam 的一阶二阶动量各 28GB,单个约 98GB。

组件参数量精度/状态显存估算
参考模型(冻结)7Bbf16 权重14 GB
奖励模型(冻结)1.5Bbf16 权重3 GB
策略模型(全参训练)7B权重+master+Adam98 GB
价值模型(全参训练)7B权重+master+Adam98 GB
激活值与其他-取决于序列长度和 batch30-60 GB
合计--约 243-273 GB

按单卡 80GB 算,全参方案至少要 4 张卡,实际留余量建议 8 张。如果资源不够,改用参数高效微调只训 adapter,策略和价值模型的优化器状态能压到 1GB 以内,总占用降到 60GB 上下,2 到 4 张卡就能跑。代价是效果会略差一些,尤其在需要较大行为改变的场景里。

配置上有一组我认为比较稳的起点:

ppo: learning_rate: 2.0e-6 # 全参训练,LoRA 时可提到 1.0e-5 kl_coef: 0.02 # 关键参数,见下文说明 clip_range: 0.2 # PPO 标准截断 gamma: 1.0 # 序列级奖励,不做折扣 lam: 0.95 # GAE 的 lambda ppo_epochs: 2 # 每批数据重复利用轮数,超过 4 容易过拟合 mini_batch_size: 16 total_batch_size: 128 # 一次采样 128 条完整回答 max_new_tokens: 1024 init_kl_coef: 0.02 target_kl: 6.0 # 自适应 KL 的目标值,单位是 1e-3

KL 系数这一段单独说。它控制策略偏离参考模型的程度,设大了模型几乎不动,效果和 SFT 没区别;设小了当天就能看到模型开始胡说。0.02 是一个比较通用的起点,如果你的任务是垂直领域、需要较大幅度的行为改变,可以往 0.01 压;如果是安全性对齐这种不能出格的场景,往 0.05 提。

现在很多框架支持自适应 KL,就是根据实际 KL 散度动态调整系数,让散度稳定在目标值附近。这个功能很实用,建议打开,能省掉大量手动调参的时间。

3.4 低成本替代路线:DPO、KTO、ORPO 怎么选

PPO 的资源门槛摆在那里,资源不够的团队通常会看替代方案。主流的几个我按适用条件排一下。

DPO 是最直接的替代,它跳过奖励建模和强化学习,直接在偏好对上优化策略。优点是稳定、便宜、单卡能跑;缺点是对数据质量极其敏感,偏好对有噪声时效果掉得比 PPO 快。我的经验是:数据干净、规模在几千条以上、任务不是特别复杂时,DPO 的性价比远高于 PPO。

KTO 的差异是不需要成对数据,只要「这个回答好」或「这个回答差」的单点标注。这在标注成本高的垂直领域很有价值,因为业务系统里天然存在大量「用户点赞/用户投诉」这种单点信号。代价是同样数据量下效果略逊于成对偏好。

ORPO 把 SFT 和偏好优化合成一步,省掉了单独跑 SFT 的阶段。适合从基座直接开始的场景,但对数据的组织方式有特定要求,迁移现有流程时要注意。

方案需要奖励模型需要成对数据显存门槛(7B)适合场景
PPO是是高,4-8 卡需要在线探索、信号复杂
DPO否是低,1-2 卡数据干净、追求稳定
KTO否否低,1-2 卡只有单点反馈信号
ORPO否是低,1-2 卡想一步到位,跳过 SFT

我个人的建议顺序是:先跑 DPO 拿到基线,如果效果不够再考虑上 PPO。别一上来就 PPO,那是在用最贵的方式验证一个可能数据就有问题的假设。

4. 常见问题与排查实录:那些文档里不会写的东西

这一节是我踩坑攒下来的。每个问题背后都有具体案例,虽然细节不能展开,但现象和解法是通用的。

4.1 奖励黑客的几种典型长相

奖励黑客是指模型找到了刷高奖励分数但不满足真实意图的路径。这东西不是理论风险,是一定会发生的事,区别只在于你多快发现。

第一种是「长度膨胀」。模型发现长回答得分高,于是把所有回答都拉到长度上限,内容开始重复堆砌。排查方法很简单,统计训练过程中平均输出长度的变化曲线,如果 200 步内涨了 40% 以上,基本可以确定。

第二种是「格式讨好」。模型学会了大量使用列表、加粗、小标题,因为标注者看到结构化内容会下意识给高分。现象是输出格式高度雷同,实际信息量没变。对策是在偏好数据里加入「同样是列表但内容有用 vs 格式漂亮但空洞」的对比对。

第三种是「过度免责」。模型学会了在结尾加一句「建议咨询专业人士」,因为这样显得严谨。在医疗法律场景这本来是好事,但泛滥之后每个回答都加,就变成了废话。这个偏差特别难纠,因为它和真实的安全需求高度相似,只能在数据层面精确控制比例。

第四种最隐蔽:「迎合提问者的预设」。模型学会了顺着用户话里的倾向去答,而不是给出客观判断。这个在评测里几乎看不出来,因为评测集的问题往往是中性的。要发现它,得专门构造一批带误导性预设的问题去测。

4.2 训练不稳定与长度偏置的现场处理

PPO 跑飞的现象很有辨识度:KL 散度在几十步内快速上升,奖励分数先涨后崩,输出开始出现重复词和乱码。遇到这个先别急着调学习率,按顺序排查。

先看奖励分数的分布。如果大量样本的奖励值集中在非常高的区间(比如 90% 的样本都在 8 分以上,满分 10 分),说明奖励模型在你的策略分布上已经饱和了,它没法再提供有效的区分信号,策略只能在噪声上乱走。解法是把奖励分数做标准化,或者在训练中周期性重训奖励模型。

再看 KL 的实际值。如果远高于目标值,说明策略跑得太快,把学习率降到 1e-6 或者把 KL 系数提上去。反过来如果 KL 几乎不动,策略学不到东西,通常是学习率太低或者优势估计有问题。

还有一类问题不表现为崩溃,而是「不动」:训练几百步,奖励分数纹丝不动。这多半是数据的问题——采样出来的回答同质化太严重,优势值全是 0。解法是提高采样温度,或者换一批问题。

4.3 常见问题速查表

现象最可能的原因优先排查动作
输出长度暴涨奖励模型学到长度偏置算奖励分与长度的相关系数
KL 散度飙升后崩溃学习率过高或 KL 系数过低学习率减半,KL 系数加倍
奖励分涨但人工评测变差奖励黑客抽样人工看 100 条输出找模式
训练几百步无变化样本同质化、优势值为 0提高采样温度,检查批次多样性
模型开始大量拒答偏好数据里拒答样本比例过高调整数据配比,补有用性样本
输出格式高度雷同格式偏好被过度强化引入格式中性的对比样本
垂直领域效果反而下降基座能力不足或数据分布偏移回到 top-8 采样做能力体检
离线评测好但线上差评测集与真实分布不一致从线上日志采样重建评测集

5. 评测、成本与上线决策:怎么证明这套东西真的有用

技术做完不等于项目成立。我见过不止一个团队把模型训出来了,然后在「要不要上线」这一步卡了两个月,因为拿不出让人信服的证据。

5.1 评测集怎么建才不是自欺欺人

最常见的错误是拿训练数据里的一小部分当评测集。这样测出来的数字没有意义,模型见过这些东西。

评测集必须独立采集,而且要和真实使用场景的分布对齐。实操做法是从线上日志里按用户类型、问题类型分层抽样 300 到 500 条,人工写参考答案,然后这套集子冻结下来不参与任何训练。每次模型更新都用同一套集子测,这样趋势才有可比性。

自动评测的陷阱要单独说。用另一个大模型当裁判(业界叫 LLM-as-judge)确实省事,但它有几个系统性偏差:偏好长回答、偏好格式规整、对自家模型家族有隐性偏好。我建议是自动评测只用来做高频的迭代监控,关键决策节点必须上人工评测。人工评测也不要只给总分,按维度打分,不然你永远不知道改进了什么、退步了什么。

还有一个维度容易被忽略:胜率对比时要比「和上一版模型」而不是「和基座」。和基座比胜率 80% 很常见,但业务方关心的是比上一版好多少。这个数字通常只有 3 到 8 个百分点,不好看,但真实。

5.2 成本账:什么情况下值得上 RLHF

我把成本拆成三块。数据成本,通用场景 2 万条偏好对按每条 3 到 5 元估算,加仲裁和质检,大概十几万元;垂直领域按每条 100 元算,3000 条就是 30 万。算力成本,PPO 一轮完整训练在 8 卡集群上跑 2 到 3 天,按租赁价格折算大概几万元一次,通常要跑 3 到 5 轮调参。人力成本最容易被低估,一个能独立跑通这条链路的工程师,从数据设计到上线调优,基本要投 2 到 3 个月。

所以判断标准很清楚:如果你的场景对「回答风格、取舍倾向、安全边界」有精细化要求,且这些要求无法用规则或 SFT 覆盖,收益能覆盖上面的投入,那就值得做。如果一个简单的提示词模板加上少样本示例就能解决 80% 的问题,那 RLHF 就是过度工程。

还有一个中间选项值得考虑:先用 DPO 跑一版,成本大概是 PPO 的四分之一,看看能不能拿到 70% 的效果。能拿到就先上线,用真实反馈积累数据,等数据够了再考虑要不要升级。

6. 我个人在这条路上踩出来的几点体会

最后说几个不带技术性但我觉得更重要的判断。

一是别把 RLHF 当成一个独立项目来做,它天然依赖 SFT 的数据积累和线上反馈的闭环。我见过最顺的团队,是先有一个跑得不错的 SFT 模型在线上服务,有了真实用户反馈,再从反馈里挑数据做偏好优化,整个链路是连着的。反过来,从零搭一个 RLHF 流水线但没有线上流量,做出来的东西基本只能停在 demo 阶段。

二是奖励模型的准确率不要追求太高。60% 到 70% 就够用了,因为这个数字本身包含标注噪声的上限。我以前带过一个项目,团队死磕把准确率从 68% 刷到 82%,结果上线之后效果反而变差——后来发现是模型学到了标注团队内部的某个隐性偏好,而这个偏好和真实用户不一致。奖励模型的目标是「和人类判断一致」,不是「和标注员判断一致」,这两者之间有差距。

三是留一条随时能回滚的路。PPO 训出来的模型有时候会在某些特定输入上出人意料地退化,而且是那种离线评测完全测不出来的退化。上线必须做灰度,先放 5% 流量,盯一到两周的负反馈率再放大。这个流程听着笨,但比事后救火便宜得多。

四是数据标注的规范要写到「能吵架」的程度。我参与过的项目里,凡是标注规范写得含糊的,最后都会在仲裁环节爆发分歧,返工率能到 30% 以上。规范里要明确到「如果回答里出现不确定表述但结论正确,算好还是算差」这种颗粒度,宁可前期多花两天对齐,也别指望标注员自己揣摩。

返回列表