在大模型训练链路里SFT监督微调只能让模型“学会模仿”却无法让模型对输出质量持续做优化。许多团队把开源模型微调完成后发现模型在数学推理、代码生成、Agent 任务上表现不稳定甚至出现“复读机”式的答案。这时候真正能拉开效果差距的手段是 RL强化学习微调。本文将围绕RL Framework for Finetuning Openweight Models这条主线先解释 RL 微调和开放权重模型是什么再对比主流框架随后用可复现的代码案例完成一次 GRPO 微调最后给出排错清单和工程建议。无论你是刚接触大模型微调的新手还是已经跑通过 SFT、想进一步把模型能力调优的开发者这篇文章都可以直接当操作手册用。1. RL 微调与开放权重模型的基础认知1.1 什么是开放权重模型“开放权重模型”指的是权重公开发布、可以下载到本地部署的大语言模型典型代表包括 Llama 系列、Qwen 系列、DeepSeek 系列、Mistral 系列等。这类模型和 GPT-4 这类仅提供 API 的闭源模型不同开发者在遵守对应开源协议的前提下可以拿到完整的模型权重并基于自己的业务数据进行二次微调。正因为权重开放我们才有机会把通用底座模型改造成垂直领域模型。比如基于 Qwen2.5-7B 微调出一个面向金融问答的模型或者基于 Llama 3.1 8B 微调一个代码生成助手。微调方式可以是继续预训练、SFT也可以是本文重点讨论的 RL 微调。这里要区分两个容易混淆的概念Open Source Model 强调完整开源包括训练代码、数据、权重等而 Open-Weight Model 只保证权重可用不一定开放完整训练数据。在工程落地时我们更常接触的是后者。1.2 为什么要用 RL 微调SFT 的本质是让模型在给定输入时尽量生成与标注答案一致的文本。这种做法可以让模型学会格式和风格但无法引入“结果是否正确”“用户是否满意”这类反馈信号。举个例子训练模型做数学应用题。SFT 阶段即使模型最终答案算错了只要它的文本分布接近标注答案损失函数也可能很低。但 RL 阶段不同我们可以设计奖励函数如果最终答案正确给正奖励如果推理过程混乱给负奖励。模型在训练中会主动调整策略提高获得高奖励的概率。这就是 RL 微调的核心价值让模型从“像某个答案”走向“为某个目标做优化”。大模型 RL 微调最常见的实现是 RLHF基于人类反馈的强化学习近两年又衍生出 RLAIF、RLVR可验证奖励强化学习等变体。数学推理、代码运行结果验证、Agent 工具调用等任务都能从 RL 微调中受益。1.3 RL 微调适合哪些场景不是所有场景都需要 RL。如果你的任务只是风格迁移、格式统一SFT 已经足够。但遇到下面几类任务RL 微调的优势会非常明显数学推理与逻辑题可以通过答案校验规则给出确定性奖励。代码生成可以通过单元测试、编译器反馈来判定代码是否正确。Agent 工具调用模型需要学会在多个步骤中规划、调接口、处理异常最终完成一个目标这类多步决策任务与 RL 天然匹配。指令遵循与安全性可以通过规则或分类器对内容安全做奖励建模。对齐任务让模型输出更符合人类偏好。近一年流行的 Agentic RL 也是这个方向的延伸不是为了生成一段文本而是让模型学会“调用工具 → 观察结果 → 继续行动 → 完成任务”的完整决策链。2. 主流 RL 微调框架横向对比在“RL Framework for Finetuning Openweight Models”这个主题下选对框架能省下大量开发时间。目前社区主流方案有以下几类。2.1 TRLHugging Face 生态最友好TRLTransformer Reinforcement Learning是 Hugging Face 推出的强化学习训练库也是目前社区使用最广泛的方案之一。它内置了 PPO、DPO、GRPO、KTO 等多种训练器能够与 Transformers、Accelerate、DeepSpeed 无缝配合。TRL 最大的优势是代码量少。一个最小化的 GRPO 训练脚本可以控制在几十行内完成数据加载、奖励函数定义和训练器初始化。对于中小团队和研究者来说TRL 是 RL 微调入门首选。2.2 OpenRLHF面向大规模分布式训练OpenRLHF 是阿里开源的 RLHF 训练框架重点解决大规模训练时的性能问题。它原生支持多机多卡、LoRA、序列并行、混合引擎等能力在 70B 以上规模模型上性能表现突出。如果你要在企业级 GPU 集群上做百亿甚至千亿参数模型的 RLHFOpenRLHF 会是比 TRL 更合适的选择但它的安装和配置复杂度也更高。2.3 veRL火山引擎开源的 RL 训练框架veRLVolcano Engine Reinforcement Learning是字节跳动开源的强化学习训练框架强调高可扩展性和对在线 RL 的支持。它在混合训练、模型分片、异构资源调度方面做了较多优化适合对训练吞吐要求很高的团队。2.4 LLaMA-Factory集训练、推理、评测于一体LLaMA-Factory 是国内开发者很熟悉的微调工具界面化操作和命令行两种方式都支持。它最初以 SFT 和 LoRA 微调闻名后来也加入了 GRPO 强化学习训练支持。由于 LLaMA-Factory 把数据格式、模型加载、训练配置都做了统一封装适合团队内部快速验证多种训练方式。2.5 对标维度总结框架侧重点适合规模学习成本训练算法支持生态与集成TRLHugging Face 生态7B~70B 单机多卡低PPO、DPO、GRPO、KTOTransformers、Accelerate、DeepSpeedOpenRLHF大规模分布式70B 以上高RLHF、DPO、PPO自研分布式引擎veRL高吞吐在线 RL70B 以上高RLHF、PPO、GRPO云环境、大规模多机LLaMA-Factory全流程微调工具7B~百亿级低SFT、DPO、GRPO统一训练入口WebUI 支持选型时没有绝对优劣。单卡或少量卡做实验TRL 最灵活企业级多机集群追求吞吐OpenRLHF 更成熟团队已经有使用习惯可以优先沿用 LLaMA-Factory。3. 环境准备与版本选型3.1 硬件与运行环境RL 微调比 SFT 更吃显存原因是训练时需要同时保存策略模型、参考模型并在每一步生成若干条采样结果。以 7B 模型的 GRPO 训练为例如果采用 LoRA 方式单张 24GB 显存的消费级显卡勉强可以跑小 batch全参数训练 7B 模型建议使用 4 张以上 A100/A800 或同等级别的显卡。操作系统建议使用 LinuxUbuntu 20.04 或 22.04 均可。Windows 环境虽然能运行 PyTorch但在多卡训练、DeepSpeed 部署方面会遇到额外阻力不建议在生产训练中使用。3.2 Python 环境与依赖安装建议使用 Python 3.10 或 3.11并通过 conda 创建独立虚拟环境。下面以 TRL 为例给出安装命令conda create -n rl-finetune python3.10 -y conda activate rl-finetune pip install --upgrade pip pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers datasets accelerate peft deepspeed pip install trl版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。TRL 的 GRPO 训练器从 0.12 版本左右开始稳定建议安装最新版。如果你所在网络环境访问 Hugging Face 不稳定可以设置镜像端点export HF_ENDPOINThttps://hf-mirror.com这个环境变量会替换模型和数据集的默认下载域名不影响后续代码逻辑。3.3 模型与数据准备本文以 Qwen2.5-7B-Instruct 为例数据集使用 GSM8K 数学题。GSM8K 是评估数学推理能力的经典基准也适合演示基于答案正确性的奖励函数设计。huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir ./models/Qwen2.5-7B-Instruct如果不希望提前下载代码中也可以直接写模型 id程序会自动缓存到本地。4. RL 微调核心原理拆解在写训练脚本之前有必要把 RL 微调的关键原理理清楚。否则一旦训练结果不理想很难判断是奖励函数的问题、超参数的问题还是策略更新的问题。4.1 RLHF 的整体流程典型 RLHF 流程分为四步在 SFT 模型基础上收集人类偏好数据训练奖励模型。将 SFT 模型作为策略模型输入 prompt 让模型生成回答。奖励模型或规则函数对回答打分。策略模型根据奖励更新参数同时用 KL 散度约束模型输出不要偏离参考模型太远。这套流程的思想是模型自由探索不同的输出奖励高的行为会被强化奖励低的行为会被抑制。在工程简化时第四步的 KL 约束非常重要。它保证模型不会为了刷奖励而输出胡言乱语。理论上如果完全不约束 KL模型发现某种乱码能获得高奖励就会放弃正常表达。4.2 PPO 与 GRPO 的异同PPOProximal Policy Optimization是经典的在线策略优化算法。它需要价值网络估计状态价值并通过重要性采样、Clip 裁剪等方式控制策略更新的幅度。PPO 在 RLHF 中被广泛使用但需要维护四个模型策略模型、参考模型、奖励模型、价值模型显存和工程复杂度都比较高。GRPOGroup Relative Policy Optimization由 DeepSeekMath 论文提出核心思路是不再训练价值网络而是对同一个 prompt 采样多个回答组成一个分组然后用组内相对表现计算优势值。这样做的好处是显存占用更低训练也更稳定。DeepSeek-R1 的训练过程也公开说明使用了 GRPO 这类强化学习思路。从工程实现上看GRPO 对开发者更友好不需要额外维护价值网络奖励函数可以直接复用规则函数逻辑清晰容易调试。4.3 BC 在 RL 微调中的定位BC 是 Behavior Cloning行为克隆的缩写。它其实是模仿学习的一种方式本质上就是根据专家轨迹做监督学习让模型学会“在某个状态下应该输出什么动作”。SFT 可以看成一种语言模型上的行为克隆。在 RL 微调的实践流程里BC/SFT 通常作为冷启动步骤。先用高质量 SFT 数据让模型具备基本能力再用 RL 进一步优化策略。如果没有 SFT 冷启动完全从基座模型开始 RL模型在早期探索时会产生大量无意义文本奖励信号稀疏训练很难收敛。从热词“rl中bc是什么”可以看出很多新手会把 BC 和 RL 混在一起。这里需要区分BC 是监督式的“照抄专家”RL 是探索式的“按奖励调优”。二者不是替代关系而是先后关系。4.4 奖励函数设计原则奖励函数决定了 RL 优化的方向是整套流程的灵魂。奖励函数可以来自规则和正则匹配例如判断答案是否包含指定格式。程序执行结果例如代码能否通过单元测试。人工反馈打分。经过训练的奖励模型。设计奖励函数时建议遵循以下原则奖励信号要及时且稀疏度适中完全稀疏会导致模型无法学习。规则要能容忍模型输出的格式噪声例如额外解释、空行、Emoji。多目标场景下可以把多个奖励加权求和但权重需要实验调优。奖励范围尽量归一化帮助稳定训练。在本文的 GSM8K 案例中我用两个奖励函数格式奖励和答案正确性奖励。前者保证模型按规则输出后者保证最终答案正确。5. 完整实战案例用 TRL 微调开放权重模型接下来我们完成一个最小可运行的 GRPO 微调案例。目标是让 Qwen2.5-7B-Instruct 在 GSM8K 数学题上提升推理能力。5.1 数据准备GSM8K 数据集需要按 prompt 和 answer 两个字段组织。示例prompt: Janets ducks lay 16 eggs per day. She eats three for breakfast every morning and bakes muffins for her friends every day with four. She sells the remainder at the farmers market daily for $2 per fresh duck egg. How much in dollars does she make every day at the farmers market? answer: She eats 3 eggs and uses 4 eggs for muffins, so she uses 7 eggs per day. She has 16-79 eggs left. She sells 9 eggs for $2 each, so she makes 9*2$18. The answer is 18.加载代码from datasets import load_dataset dataset load_dataset(openai/gsm8k, main, splittrain) print(dataset[0])这里的 answer 字段包含完整推理过程和最终答案最终答案通常以#### 数值结尾。这样设计有助于我们编写答案提取逻辑。5.2 设计奖励函数奖励函数接收模型生成的结果和标准答案返回一个浮点数分数。下面给出两个函数。格式奖励鼓励模型按指定格式输出。def format_reward(completions, **kwargs): 如果模型按要求输出给 1.0否则给 0.0。 rewards [] for completion in completions: if #### in completion: rewards.append(1.0) else: rewards.append(0.0) return rewards答案正确性奖励提取最终答案并与真实答案对比。import re def correctness_reward(prompts, completions, answer, **kwargs): 根据最终答案是否正确返回 0 或 1。 rewards [] for completion, ans in zip(completions, answer): match re.search(r####\s*(-?\d), completion) if match is None: rewards.append(0.0) continue model_answer match.group(1).strip() gold_match re.search(r####\s*(-?\d), ans) if gold_match is None: rewards.append(0.0) continue gold_answer gold_match.group(1).strip() rewards.append(1.0 if model_answer gold_answer else 0.0) return rewards这里用了正则提取完成输出里的#### 数字部分。GSM8K 的标准答案格式就是#### 18所以这种匹配方式是可靠的。如果你的任务不是数学题可以把正确性奖励替换为代码执行结果校验、工具调用结果判定等自定义逻辑。5.3 编写训练脚本创建train_grpo.py完整脚本如下import re from datasets import load_dataset from transformers import AutoModelForCausalLM, AutoTokenizer from trl import GRPOConfig, GRPOTrainer # 1. 加载模型和分词器 model_name Qwen/Qwen2.5-7B-Instruct model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapNone, ) tokenizer AutoTokenizer.from_pretrained(model_name) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # 2. 加载训练数据 dataset load_dataset(openai/gsm8k, main, splittrain) dataset dataset.select(range(200)) # 这里取 200 条演示正式训练建议使用完整数据 def make_prompt(example): return { prompt: example[question], answer: example[answer], } dataset dataset.map(make_prompt) # 3. 奖励函数 def format_reward(completions, **kwargs): rewards [] for completion in completions: rewards.append(1.0 if #### in completion else 0.0) return rewards def correctness_reward(prompts, completions, answer, **kwargs): rewards [] for completion, ans in zip(completions, answer): match re.search(r####\s*(-?\d), completion) if match is None: rewards.append(0.0) continue gold_match re.search(r####\s*(-?\d), ans) if gold_match is None: rewards.append(0.0) continue rewards.append(1.0 if match.group(1).strip() gold_match.group(1).strip() else 0.0) return rewards # 4. 训练参数 training_args GRPOConfig( output_dirqwen-grpo-gsm8k, learning_rate5e-6, per_device_train_batch_size4, gradient_accumulation_steps4, num_train_epochs1, bf16True, max_prompt_length512, max_completion_length256, beta0.04, logging_steps10, save_steps50, save_total_limit2, remove_unused_columnsFalse, ) # 5. 初始化训练器 trainer GRPOTrainer( modelmodel, argstraining_args, train_datasetdataset, tokenizertokenizer, reward_funcs[format_reward, correctness_reward], ) # 6. 开始训练 trainer.train()脚本中的关键点bf16True需要在支持 bf16 的 GPU 上运行如果显卡不支持可以改为fp16True。beta0.04是 KL 散度系数控制模型偏离参考模型的程度。值越大输出越保守。remove_unused_columnsFalse保证 answer 列传给奖励函数后仍可用。示例中只取 200 条数据目的是快速验证流程正式实验建议使用完整 GSM8K 训练集。5.4 运行训练在终端执行conda activate rl-finetune python train_grpo.py如果显存不够可以将per_device_train_batch_size调小到 1 或 2并配上梯度累积。也可以改用 LoRA 进一步降低显存需求具体做法是在模型加载后包一层peft的LoraConfig和get_peft_model。5.5 结果验证训练结束后模型保存在qwen-grpo-gsm8k目录。可以写一个简单推理脚本验证效果from transformers import AutoModelForCausalLM, AutoTokenizer model_name ./qwen-grpo-gsm8k tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name, torch_dtypeauto, device_mapauto) question Janets ducks lay 16 eggs per day. She eats three for breakfast every morning and bakes muffins for her friends every day with four. She sells the remainder at the farmers market daily for $2 per fresh duck egg. How much in dollars does she make every day at the farmers market? messages [{role: user, content: question}] input_ids tokenizer.apply_chat_template(messages, return_tensorspt).to(model.device) output_ids model.generate(input_ids, max_new_tokens256) response tokenizer.decode(output_ids[0][input_ids.shape[-1]:], skip_special_tokensTrue) print(response)正常输出会包含完整推理过程和最终答案She eats 3 eggs and uses 4 for muffins, so she uses 7 eggs per day. She has 16-79 eggs left. She sells 9 eggs for $2 each, so she makes 18 dollars. The answer is 18.如果模型没有输出#### 18这样的格式可以在推理提示词中加上“请以#### 数字结尾”之类的约束训练和推理的提示词格式尽量保持一致。6. 进阶方案使用 LLaMA-Factory 复现 GRPO 训练如果你的团队习惯使用 LLaMA-Factory同样可以完成 GRPO 微调。相比 TRL 手写训练脚本LLaMA-Factory 把配置收敛到一个 YAML 文件里更便于实验管理和参数版本控制。6.1 安装 LLaMA-Factorygit clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .LLaMA-Factory 不同版本的 GRPO 配置字段有差异建议以项目官方仓库中 examples 目录的配置文件为准。下面给一个最简的配置思路。6.2 配置训练参数在项目目录下创建grpo_lora.yamlmodel_name_or_path: Qwen/Qwen2.5-7B-Instruct stage: grpo finetuning_type: lora lora_rank: 8 lora_target: all dataset_dir: data dataset: gsm8k template: qwen output_dir: outputs/qwen-grpo-lora per_device_train_batch_size: 4 gradient_accumulation_steps: 8 learning_rate: 5.0e-6 num_train_epochs: 1.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true max_length: 1024 max_prompt_length: 512 max_completion_length: 256 beta: 0.04 reward_funcs: format_reward,correctness_reward logging_steps: 10 save_steps: 50 plot_loss: true核心字段是stage: grpo它告诉 LLaMA-Factory 使用强化学习训练器reward_funcs需要按照项目要求的格式自定义实现如果不需要 LoRA把finetuning_type改为full即可。6.3 启动与监控llamafactory-cli train grpo_lora.yaml训练过程中可以观察 loss、reward 等指标变化。如果奖励长期不增长优先检查数据问题和奖励函数是否符合预期。7. 常见问题与排查思路RL 微调相比 SFT 更容易踩坑下面把高频问题整理成一张排错表。问题现象常见原因解决思路训练一开始就 OOMbatch 太大、序列太长、同时加载了多个模型调小per_device_train_batch_size开启gradient_checkpointing改用 LoRALoss 为 NaN 或训练发散学习率过高、数据中存在异常文本、fp16 精度问题调低学习率检查数据清洗优先使用 bf16Reward 一直不变奖励函数与模型输出格式不匹配模型输出里提取不到答案输出奖励函数的中间结果检查正则解析逻辑生成内容重复或退化KL 系数太小模型过度优化奖励增大beta参数或增加格式奖励的约束训练速度很慢采样数量过多、模型参数量大、未开梯度检查点减少 GRPO group size使用 vLLM 加速采样增加 GPU显存占用随步数持续增长保存了过多计算图或日志缓存检查save_total_limit并确认梯度检查点生效模型下载慢或连接失败网络限制设置HF_ENDPOINThttps://hf-mirror.com或提前下载到本地目录模型只会套模板答案不准确只学格式没能优化最终答案提高答案正确性奖励的权重并保证数据集中有足够正确样本这里最高的排查优先级是奖励函数。GRPO 的训练信号完全来自奖励如果奖励函数本身有问题策略模型无论如何优化都会走向错误方向。建议在正式训练前先单独对一批输出调用奖励函数打印分数确认规则能够正确区分好坏样本。8. 最佳实践与工程建议8.1 数据与奖励函数高质量数据仍然是 RL 微调效果的基石。不要拿原始 SFT 数据直接做 RL推荐先对 prompt 做去重、清洗、难度分层。奖励函数不要一上来就写得很复杂先从最简单、最可靠的规则开始跑通流程后再逐步叠加维度。在数学任务中可以只用一个答案正确性奖励在 Agent 任务中可以用“是否调用正确工具”“最终任务是否完成”作为奖励信号。多奖励融合时权重要通过小规模实验验证避免某一项奖励几乎恒定导致模型忽略其他目标。8.2 训练稳定性RL 训练需要更多稳定性控制手段学习率建议从 (5e-6) 到 (1e-5) 起步不要照搬 SFT 的学习率。KL 系数beta是稳定性的关键通常从 (0.01) 到 (0.1) 之间调试。采样数量不是越大越好过大的 group size 会显著降低训练速度。定期保存 checkpoint并记录每个 checkpoint 在验证集上的奖励值。使用wandb或tensorboard记录 logging便于定位训练曲线突变。8.3 工程化与合规注意事项遵守模型开源协议。Qwen、Llama 等模型都有各自的使用条款商用前要确认合规边界。数据合规同样重要尤其是用户隐私、敏感内容数据不要直接进入训练集。训练平台如果暴露了 Web 管理界面需要关注底层框架安全公告。例如 Spring Framework 曾出现 CVE-2024-38819 目录遍历漏洞使用相关 Web 组件构建训练平台时应及时升级到修复版本避免外部访问导致服务器文件泄露。涉及分布式多机训练时配置好共享存储和 SSH 免密访问避免节点间通信成为瓶颈。生产环境部署 RL 微调后的模型建议先做离线评测和红队测试确认模型在奖励函数覆盖之外的数据上仍然表现正常。8.4 从单机实验到集群训练在小规模数据上验证奖励函数和超参后再扩展到全量 GPU 集群。不要把一上来就跑大规模全量训练否则问题排查成本会非常高。推荐路线100 条数据跑通代码 → 1000 条数据调奖励函数 → 全量数据调超参 → 多机多卡提升吞吐。9. 总结与学习路线围绕 RL Framework for Finetuning Openweight Models本文从开放权重模型和 RL 微调的概念讲起对比了 TRL、OpenRLHF、veRL、LLaMA-Factory 等主流框架重点拆解了 PPO、GRPO、BC 之间的关系并通过 TRL 完成了一次 GSM8K 上的 GRPO 微调实战也给出了 LLaMA-Factory 的进阶方案。最后整理了一份高频问题和最佳实践清单。如果这是你第一次接触 RL 微调下一步建议先把文中脚本用 200 条数据跑通再尝试把奖励函数替换成你自己的业务规则。之后可以深入阅读 DeepSeekMath 的 GRPO 论文和 TRL 官方文档进一步理解 KL 散度、优势估计等细节。等到单机训练流程稳定后再逐步引入 LoRA、DeepSpeed、vLLM 采样加速等工程手段。对于想要继续深入的同学Agentic RL 是当前很有价值的方向让模型在复杂工具环境中完成多步决策利用最终任务完成度作为奖励信号再配合 GRPO 这类在线强化学习算法迭代。这里面涉及训练框架、环境仿真、奖励分支设计等综合工程问题值得花时间实践。 大模型RL微调实战：开放权重模型与GRPO训练指南
在大模型训练链路里SFT监督微调只能让模型“学会模仿”却无法让模型对输出质量持续做优化。许多团队把开源模型微调完成后发现模型在数学推理、代码生成、Agent 任务上表现不稳定甚至出现“复读机”式的答案。这时候真正能拉开效果差距的手段是 RL强化学习微调。本文将围绕RL Framework for Finetuning Openweight Models这条主线先解释 RL 微调和开放权重模型是什么再对比主流框架随后用可复现的代码案例完成一次 GRPO 微调最后给出排错清单和工程建议。无论你是刚接触大模型微调的新手还是已经跑通过 SFT、想进一步把模型能力调优的开发者这篇文章都可以直接当操作手册用。1. RL 微调与开放权重模型的基础认知1.1 什么是开放权重模型“开放权重模型”指的是权重公开发布、可以下载到本地部署的大语言模型典型代表包括 Llama 系列、Qwen 系列、DeepSeek 系列、Mistral 系列等。这类模型和 GPT-4 这类仅提供 API 的闭源模型不同开发者在遵守对应开源协议的前提下可以拿到完整的模型权重并基于自己的业务数据进行二次微调。正因为权重开放我们才有机会把通用底座模型改造成垂直领域模型。比如基于 Qwen2.5-7B 微调出一个面向金融问答的模型或者基于 Llama 3.1 8B 微调一个代码生成助手。微调方式可以是继续预训练、SFT也可以是本文重点讨论的 RL 微调。这里要区分两个容易混淆的概念Open Source Model 强调完整开源包括训练代码、数据、权重等而 Open-Weight Model 只保证权重可用不一定开放完整训练数据。在工程落地时我们更常接触的是后者。1.2 为什么要用 RL 微调SFT 的本质是让模型在给定输入时尽量生成与标注答案一致的文本。这种做法可以让模型学会格式和风格但无法引入“结果是否正确”“用户是否满意”这类反馈信号。举个例子训练模型做数学应用题。SFT 阶段即使模型最终答案算错了只要它的文本分布接近标注答案损失函数也可能很低。但 RL 阶段不同我们可以设计奖励函数如果最终答案正确给正奖励如果推理过程混乱给负奖励。模型在训练中会主动调整策略提高获得高奖励的概率。这就是 RL 微调的核心价值让模型从“像某个答案”走向“为某个目标做优化”。大模型 RL 微调最常见的实现是 RLHF基于人类反馈的强化学习近两年又衍生出 RLAIF、RLVR可验证奖励强化学习等变体。数学推理、代码运行结果验证、Agent 工具调用等任务都能从 RL 微调中受益。1.3 RL 微调适合哪些场景不是所有场景都需要 RL。如果你的任务只是风格迁移、格式统一SFT 已经足够。但遇到下面几类任务RL 微调的优势会非常明显数学推理与逻辑题可以通过答案校验规则给出确定性奖励。代码生成可以通过单元测试、编译器反馈来判定代码是否正确。Agent 工具调用模型需要学会在多个步骤中规划、调接口、处理异常最终完成一个目标这类多步决策任务与 RL 天然匹配。指令遵循与安全性可以通过规则或分类器对内容安全做奖励建模。对齐任务让模型输出更符合人类偏好。近一年流行的 Agentic RL 也是这个方向的延伸不是为了生成一段文本而是让模型学会“调用工具 → 观察结果 → 继续行动 → 完成任务”的完整决策链。2. 主流 RL 微调框架横向对比在“RL Framework for Finetuning Openweight Models”这个主题下选对框架能省下大量开发时间。目前社区主流方案有以下几类。2.1 TRLHugging Face 生态最友好TRLTransformer Reinforcement Learning是 Hugging Face 推出的强化学习训练库也是目前社区使用最广泛的方案之一。它内置了 PPO、DPO、GRPO、KTO 等多种训练器能够与 Transformers、Accelerate、DeepSpeed 无缝配合。TRL 最大的优势是代码量少。一个最小化的 GRPO 训练脚本可以控制在几十行内完成数据加载、奖励函数定义和训练器初始化。对于中小团队和研究者来说TRL 是 RL 微调入门首选。2.2 OpenRLHF面向大规模分布式训练OpenRLHF 是阿里开源的 RLHF 训练框架重点解决大规模训练时的性能问题。它原生支持多机多卡、LoRA、序列并行、混合引擎等能力在 70B 以上规模模型上性能表现突出。如果你要在企业级 GPU 集群上做百亿甚至千亿参数模型的 RLHFOpenRLHF 会是比 TRL 更合适的选择但它的安装和配置复杂度也更高。2.3 veRL火山引擎开源的 RL 训练框架veRLVolcano Engine Reinforcement Learning是字节跳动开源的强化学习训练框架强调高可扩展性和对在线 RL 的支持。它在混合训练、模型分片、异构资源调度方面做了较多优化适合对训练吞吐要求很高的团队。2.4 LLaMA-Factory集训练、推理、评测于一体LLaMA-Factory 是国内开发者很熟悉的微调工具界面化操作和命令行两种方式都支持。它最初以 SFT 和 LoRA 微调闻名后来也加入了 GRPO 强化学习训练支持。由于 LLaMA-Factory 把数据格式、模型加载、训练配置都做了统一封装适合团队内部快速验证多种训练方式。2.5 对标维度总结框架侧重点适合规模学习成本训练算法支持生态与集成TRLHugging Face 生态7B~70B 单机多卡低PPO、DPO、GRPO、KTOTransformers、Accelerate、DeepSpeedOpenRLHF大规模分布式70B 以上高RLHF、DPO、PPO自研分布式引擎veRL高吞吐在线 RL70B 以上高RLHF、PPO、GRPO云环境、大规模多机LLaMA-Factory全流程微调工具7B~百亿级低SFT、DPO、GRPO统一训练入口WebUI 支持选型时没有绝对优劣。单卡或少量卡做实验TRL 最灵活企业级多机集群追求吞吐OpenRLHF 更成熟团队已经有使用习惯可以优先沿用 LLaMA-Factory。3. 环境准备与版本选型3.1 硬件与运行环境RL 微调比 SFT 更吃显存原因是训练时需要同时保存策略模型、参考模型并在每一步生成若干条采样结果。以 7B 模型的 GRPO 训练为例如果采用 LoRA 方式单张 24GB 显存的消费级显卡勉强可以跑小 batch全参数训练 7B 模型建议使用 4 张以上 A100/A800 或同等级别的显卡。操作系统建议使用 LinuxUbuntu 20.04 或 22.04 均可。Windows 环境虽然能运行 PyTorch但在多卡训练、DeepSpeed 部署方面会遇到额外阻力不建议在生产训练中使用。3.2 Python 环境与依赖安装建议使用 Python 3.10 或 3.11并通过 conda 创建独立虚拟环境。下面以 TRL 为例给出安装命令conda create -n rl-finetune python3.10 -y conda activate rl-finetune pip install --upgrade pip pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers datasets accelerate peft deepspeed pip install trl版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。TRL 的 GRPO 训练器从 0.12 版本左右开始稳定建议安装最新版。如果你所在网络环境访问 Hugging Face 不稳定可以设置镜像端点export HF_ENDPOINThttps://hf-mirror.com这个环境变量会替换模型和数据集的默认下载域名不影响后续代码逻辑。3.3 模型与数据准备本文以 Qwen2.5-7B-Instruct 为例数据集使用 GSM8K 数学题。GSM8K 是评估数学推理能力的经典基准也适合演示基于答案正确性的奖励函数设计。huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir ./models/Qwen2.5-7B-Instruct如果不希望提前下载代码中也可以直接写模型 id程序会自动缓存到本地。4. RL 微调核心原理拆解在写训练脚本之前有必要把 RL 微调的关键原理理清楚。否则一旦训练结果不理想很难判断是奖励函数的问题、超参数的问题还是策略更新的问题。4.1 RLHF 的整体流程典型 RLHF 流程分为四步在 SFT 模型基础上收集人类偏好数据训练奖励模型。将 SFT 模型作为策略模型输入 prompt 让模型生成回答。奖励模型或规则函数对回答打分。策略模型根据奖励更新参数同时用 KL 散度约束模型输出不要偏离参考模型太远。这套流程的思想是模型自由探索不同的输出奖励高的行为会被强化奖励低的行为会被抑制。在工程简化时第四步的 KL 约束非常重要。它保证模型不会为了刷奖励而输出胡言乱语。理论上如果完全不约束 KL模型发现某种乱码能获得高奖励就会放弃正常表达。4.2 PPO 与 GRPO 的异同PPOProximal Policy Optimization是经典的在线策略优化算法。它需要价值网络估计状态价值并通过重要性采样、Clip 裁剪等方式控制策略更新的幅度。PPO 在 RLHF 中被广泛使用但需要维护四个模型策略模型、参考模型、奖励模型、价值模型显存和工程复杂度都比较高。GRPOGroup Relative Policy Optimization由 DeepSeekMath 论文提出核心思路是不再训练价值网络而是对同一个 prompt 采样多个回答组成一个分组然后用组内相对表现计算优势值。这样做的好处是显存占用更低训练也更稳定。DeepSeek-R1 的训练过程也公开说明使用了 GRPO 这类强化学习思路。从工程实现上看GRPO 对开发者更友好不需要额外维护价值网络奖励函数可以直接复用规则函数逻辑清晰容易调试。4.3 BC 在 RL 微调中的定位BC 是 Behavior Cloning行为克隆的缩写。它其实是模仿学习的一种方式本质上就是根据专家轨迹做监督学习让模型学会“在某个状态下应该输出什么动作”。SFT 可以看成一种语言模型上的行为克隆。在 RL 微调的实践流程里BC/SFT 通常作为冷启动步骤。先用高质量 SFT 数据让模型具备基本能力再用 RL 进一步优化策略。如果没有 SFT 冷启动完全从基座模型开始 RL模型在早期探索时会产生大量无意义文本奖励信号稀疏训练很难收敛。从热词“rl中bc是什么”可以看出很多新手会把 BC 和 RL 混在一起。这里需要区分BC 是监督式的“照抄专家”RL 是探索式的“按奖励调优”。二者不是替代关系而是先后关系。4.4 奖励函数设计原则奖励函数决定了 RL 优化的方向是整套流程的灵魂。奖励函数可以来自规则和正则匹配例如判断答案是否包含指定格式。程序执行结果例如代码能否通过单元测试。人工反馈打分。经过训练的奖励模型。设计奖励函数时建议遵循以下原则奖励信号要及时且稀疏度适中完全稀疏会导致模型无法学习。规则要能容忍模型输出的格式噪声例如额外解释、空行、Emoji。多目标场景下可以把多个奖励加权求和但权重需要实验调优。奖励范围尽量归一化帮助稳定训练。在本文的 GSM8K 案例中我用两个奖励函数格式奖励和答案正确性奖励。前者保证模型按规则输出后者保证最终答案正确。5. 完整实战案例用 TRL 微调开放权重模型接下来我们完成一个最小可运行的 GRPO 微调案例。目标是让 Qwen2.5-7B-Instruct 在 GSM8K 数学题上提升推理能力。5.1 数据准备GSM8K 数据集需要按 prompt 和 answer 两个字段组织。示例prompt: Janets ducks lay 16 eggs per day. She eats three for breakfast every morning and bakes muffins for her friends every day with four. She sells the remainder at the farmers market daily for $2 per fresh duck egg. How much in dollars does she make every day at the farmers market? answer: She eats 3 eggs and uses 4 eggs for muffins, so she uses 7 eggs per day. She has 16-79 eggs left. She sells 9 eggs for $2 each, so she makes 9*2$18. The answer is 18.加载代码from datasets import load_dataset dataset load_dataset(openai/gsm8k, main, splittrain) print(dataset[0])这里的 answer 字段包含完整推理过程和最终答案最终答案通常以#### 数值结尾。这样设计有助于我们编写答案提取逻辑。5.2 设计奖励函数奖励函数接收模型生成的结果和标准答案返回一个浮点数分数。下面给出两个函数。格式奖励鼓励模型按指定格式输出。def format_reward(completions, **kwargs): 如果模型按要求输出给 1.0否则给 0.0。 rewards [] for completion in completions: if #### in completion: rewards.append(1.0) else: rewards.append(0.0) return rewards答案正确性奖励提取最终答案并与真实答案对比。import re def correctness_reward(prompts, completions, answer, **kwargs): 根据最终答案是否正确返回 0 或 1。 rewards [] for completion, ans in zip(completions, answer): match re.search(r####\s*(-?\d), completion) if match is None: rewards.append(0.0) continue model_answer match.group(1).strip() gold_match re.search(r####\s*(-?\d), ans) if gold_match is None: rewards.append(0.0) continue gold_answer gold_match.group(1).strip() rewards.append(1.0 if model_answer gold_answer else 0.0) return rewards这里用了正则提取完成输出里的#### 数字部分。GSM8K 的标准答案格式就是#### 18所以这种匹配方式是可靠的。如果你的任务不是数学题可以把正确性奖励替换为代码执行结果校验、工具调用结果判定等自定义逻辑。5.3 编写训练脚本创建train_grpo.py完整脚本如下import re from datasets import load_dataset from transformers import AutoModelForCausalLM, AutoTokenizer from trl import GRPOConfig, GRPOTrainer # 1. 加载模型和分词器 model_name Qwen/Qwen2.5-7B-Instruct model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapNone, ) tokenizer AutoTokenizer.from_pretrained(model_name) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # 2. 加载训练数据 dataset load_dataset(openai/gsm8k, main, splittrain) dataset dataset.select(range(200)) # 这里取 200 条演示正式训练建议使用完整数据 def make_prompt(example): return { prompt: example[question], answer: example[answer], } dataset dataset.map(make_prompt) # 3. 奖励函数 def format_reward(completions, **kwargs): rewards [] for completion in completions: rewards.append(1.0 if #### in completion else 0.0) return rewards def correctness_reward(prompts, completions, answer, **kwargs): rewards [] for completion, ans in zip(completions, answer): match re.search(r####\s*(-?\d), completion) if match is None: rewards.append(0.0) continue gold_match re.search(r####\s*(-?\d), ans) if gold_match is None: rewards.append(0.0) continue rewards.append(1.0 if match.group(1).strip() gold_match.group(1).strip() else 0.0) return rewards # 4. 训练参数 training_args GRPOConfig( output_dirqwen-grpo-gsm8k, learning_rate5e-6, per_device_train_batch_size4, gradient_accumulation_steps4, num_train_epochs1, bf16True, max_prompt_length512, max_completion_length256, beta0.04, logging_steps10, save_steps50, save_total_limit2, remove_unused_columnsFalse, ) # 5. 初始化训练器 trainer GRPOTrainer( modelmodel, argstraining_args, train_datasetdataset, tokenizertokenizer, reward_funcs[format_reward, correctness_reward], ) # 6. 开始训练 trainer.train()脚本中的关键点bf16True需要在支持 bf16 的 GPU 上运行如果显卡不支持可以改为fp16True。beta0.04是 KL 散度系数控制模型偏离参考模型的程度。值越大输出越保守。remove_unused_columnsFalse保证 answer 列传给奖励函数后仍可用。示例中只取 200 条数据目的是快速验证流程正式实验建议使用完整 GSM8K 训练集。5.4 运行训练在终端执行conda activate rl-finetune python train_grpo.py如果显存不够可以将per_device_train_batch_size调小到 1 或 2并配上梯度累积。也可以改用 LoRA 进一步降低显存需求具体做法是在模型加载后包一层peft的LoraConfig和get_peft_model。5.5 结果验证训练结束后模型保存在qwen-grpo-gsm8k目录。可以写一个简单推理脚本验证效果from transformers import AutoModelForCausalLM, AutoTokenizer model_name ./qwen-grpo-gsm8k tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name, torch_dtypeauto, device_mapauto) question Janets ducks lay 16 eggs per day. She eats three for breakfast every morning and bakes muffins for her friends every day with four. She sells the remainder at the farmers market daily for $2 per fresh duck egg. How much in dollars does she make every day at the farmers market? messages [{role: user, content: question}] input_ids tokenizer.apply_chat_template(messages, return_tensorspt).to(model.device) output_ids model.generate(input_ids, max_new_tokens256) response tokenizer.decode(output_ids[0][input_ids.shape[-1]:], skip_special_tokensTrue) print(response)正常输出会包含完整推理过程和最终答案She eats 3 eggs and uses 4 for muffins, so she uses 7 eggs per day. She has 16-79 eggs left. She sells 9 eggs for $2 each, so she makes 18 dollars. The answer is 18.如果模型没有输出#### 18这样的格式可以在推理提示词中加上“请以#### 数字结尾”之类的约束训练和推理的提示词格式尽量保持一致。6. 进阶方案使用 LLaMA-Factory 复现 GRPO 训练如果你的团队习惯使用 LLaMA-Factory同样可以完成 GRPO 微调。相比 TRL 手写训练脚本LLaMA-Factory 把配置收敛到一个 YAML 文件里更便于实验管理和参数版本控制。6.1 安装 LLaMA-Factorygit clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .LLaMA-Factory 不同版本的 GRPO 配置字段有差异建议以项目官方仓库中 examples 目录的配置文件为准。下面给一个最简的配置思路。6.2 配置训练参数在项目目录下创建grpo_lora.yamlmodel_name_or_path: Qwen/Qwen2.5-7B-Instruct stage: grpo finetuning_type: lora lora_rank: 8 lora_target: all dataset_dir: data dataset: gsm8k template: qwen output_dir: outputs/qwen-grpo-lora per_device_train_batch_size: 4 gradient_accumulation_steps: 8 learning_rate: 5.0e-6 num_train_epochs: 1.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true max_length: 1024 max_prompt_length: 512 max_completion_length: 256 beta: 0.04 reward_funcs: format_reward,correctness_reward logging_steps: 10 save_steps: 50 plot_loss: true核心字段是stage: grpo它告诉 LLaMA-Factory 使用强化学习训练器reward_funcs需要按照项目要求的格式自定义实现如果不需要 LoRA把finetuning_type改为full即可。6.3 启动与监控llamafactory-cli train grpo_lora.yaml训练过程中可以观察 loss、reward 等指标变化。如果奖励长期不增长优先检查数据问题和奖励函数是否符合预期。7. 常见问题与排查思路RL 微调相比 SFT 更容易踩坑下面把高频问题整理成一张排错表。问题现象常见原因解决思路训练一开始就 OOMbatch 太大、序列太长、同时加载了多个模型调小per_device_train_batch_size开启gradient_checkpointing改用 LoRALoss 为 NaN 或训练发散学习率过高、数据中存在异常文本、fp16 精度问题调低学习率检查数据清洗优先使用 bf16Reward 一直不变奖励函数与模型输出格式不匹配模型输出里提取不到答案输出奖励函数的中间结果检查正则解析逻辑生成内容重复或退化KL 系数太小模型过度优化奖励增大beta参数或增加格式奖励的约束训练速度很慢采样数量过多、模型参数量大、未开梯度检查点减少 GRPO group size使用 vLLM 加速采样增加 GPU显存占用随步数持续增长保存了过多计算图或日志缓存检查save_total_limit并确认梯度检查点生效模型下载慢或连接失败网络限制设置HF_ENDPOINThttps://hf-mirror.com或提前下载到本地目录模型只会套模板答案不准确只学格式没能优化最终答案提高答案正确性奖励的权重并保证数据集中有足够正确样本这里最高的排查优先级是奖励函数。GRPO 的训练信号完全来自奖励如果奖励函数本身有问题策略模型无论如何优化都会走向错误方向。建议在正式训练前先单独对一批输出调用奖励函数打印分数确认规则能够正确区分好坏样本。8. 最佳实践与工程建议8.1 数据与奖励函数高质量数据仍然是 RL 微调效果的基石。不要拿原始 SFT 数据直接做 RL推荐先对 prompt 做去重、清洗、难度分层。奖励函数不要一上来就写得很复杂先从最简单、最可靠的规则开始跑通流程后再逐步叠加维度。在数学任务中可以只用一个答案正确性奖励在 Agent 任务中可以用“是否调用正确工具”“最终任务是否完成”作为奖励信号。多奖励融合时权重要通过小规模实验验证避免某一项奖励几乎恒定导致模型忽略其他目标。8.2 训练稳定性RL 训练需要更多稳定性控制手段学习率建议从 (5e-6) 到 (1e-5) 起步不要照搬 SFT 的学习率。KL 系数beta是稳定性的关键通常从 (0.01) 到 (0.1) 之间调试。采样数量不是越大越好过大的 group size 会显著降低训练速度。定期保存 checkpoint并记录每个 checkpoint 在验证集上的奖励值。使用wandb或tensorboard记录 logging便于定位训练曲线突变。8.3 工程化与合规注意事项遵守模型开源协议。Qwen、Llama 等模型都有各自的使用条款商用前要确认合规边界。数据合规同样重要尤其是用户隐私、敏感内容数据不要直接进入训练集。训练平台如果暴露了 Web 管理界面需要关注底层框架安全公告。例如 Spring Framework 曾出现 CVE-2024-38819 目录遍历漏洞使用相关 Web 组件构建训练平台时应及时升级到修复版本避免外部访问导致服务器文件泄露。涉及分布式多机训练时配置好共享存储和 SSH 免密访问避免节点间通信成为瓶颈。生产环境部署 RL 微调后的模型建议先做离线评测和红队测试确认模型在奖励函数覆盖之外的数据上仍然表现正常。8.4 从单机实验到集群训练在小规模数据上验证奖励函数和超参后再扩展到全量 GPU 集群。不要把一上来就跑大规模全量训练否则问题排查成本会非常高。推荐路线100 条数据跑通代码 → 1000 条数据调奖励函数 → 全量数据调超参 → 多机多卡提升吞吐。9. 总结与学习路线围绕 RL Framework for Finetuning Openweight Models本文从开放权重模型和 RL 微调的概念讲起对比了 TRL、OpenRLHF、veRL、LLaMA-Factory 等主流框架重点拆解了 PPO、GRPO、BC 之间的关系并通过 TRL 完成了一次 GSM8K 上的 GRPO 微调实战也给出了 LLaMA-Factory 的进阶方案。最后整理了一份高频问题和最佳实践清单。如果这是你第一次接触 RL 微调下一步建议先把文中脚本用 200 条数据跑通再尝试把奖励函数替换成你自己的业务规则。之后可以深入阅读 DeepSeekMath 的 GRPO 论文和 TRL 官方文档进一步理解 KL 散度、优势估计等细节。等到单机训练流程稳定后再逐步引入 LoRA、DeepSpeed、vLLM 采样加速等工程手段。对于想要继续深入的同学Agentic RL 是当前很有价值的方向让模型在复杂工具环境中完成多步决策利用最终任务完成度作为奖励信号再配合 GRPO 这类在线强化学习算法迭代。这里面涉及训练框架、环境仿真、奖励分支设计等综合工程问题值得花时间实践。