简介QLoRA是一套面向大语言模型量化微调实践的工具与实验资料适合具备一定深度学习基础、希望以较低显存成本完成LLM指令微调的研究者与工程师。它围绕量化微调方法提供可复现的评测与生成数据帮助模型在特定任务上获得更好适应与表现。资源包共274个文件约50.81MB以249个jsonl评测与生成记录为主辅以7个sh运行脚本、4个py源码、4个json配置、2个ipynb演示笔记及md说明文档覆盖MMLU少样本与零样本测试、Vicuna基准人工标注、Guanaco与GPT-3.5生成质量对比等模块便于直接复现实验与横向比较。目前已有643人学习下载可据此快速搭建量化微调实验环境、理解评测数据组织方式并借鉴脚本与配置的落地思路。1. 量化 LLM 微调工具单卡 24G 也能把 65B 模型跑起来的实战路径显存不够是微调大模型时最常撞上的墙。一张 24G 的消费级卡想动 7B 全量微调都吃力更别说 65B。QLoRA 这套量化微调工具解决的正是这个矛盾它把预训练权重压到 4-bit 存进显存反向传播时再临时还原精度算梯度让 65B 模型在单张 48G 卡上完成指令微调成为可能。这份资源包里既有 Guanaco 7B 的 Colab 演示也有 65B 与 GPT-3.5 的生成质量对比还有 MMLU 的 zero-shot 与 five-shot 测试集。适合手里只有一两张卡、想跑通大模型微调全流程的工程师也适合需要评估量化微调后模型能力损失的研究者。2. QLoRA 的量化原理与资源包结构拆解2.1 4-bit NormalFloat 与双重量化到底省了什么常规 LoRA 微调把权重冻结只训练旁路低秩矩阵显存大头仍在基座权重上。一个 7B 模型以 FP16 加载约需 14G加上优化器状态和激活值24G 卡很快见底。QLoRA 的做法是先把基座权重用 4-bit NormalFloatNF4量化存下来7B 模型压到约 3.5G65B 压到约 33G。NF4 是一种信息论上对正态分布权重最优的 4-bit 数据类型比均匀量化的 INT4 在相同位宽下保留更多有效信息。光量化还不够。每层量化会引入量化常数这些常数本身也占显存。QLoRA 用双重量化把量化常数再量化一次每参数平均再省约 0.37 bit。再加上分页优化器在显存峰值时把优化器状态换出到内存避免 OOM。这三板斧叠起来才是 65B 单卡可训的关键。需要说清楚的是QLoRA 微调的是 LoRA 适配器不是基座权重本身。基座保持 4-bit 冻结只有旁路矩阵在 FP16 或 BF16 下更新。推理时可以把适配器合并回基座也可以分开加载。这个边界决定了它的适用场景你要的是让模型适配特定任务风格而不是从头注入大量新知识。2.2 资源包里的文件各自管什么拿到一个资源包先别急着跑把文件按用途分堆能省很多试错时间。这份包里大致分四类文件类型用途guanaco_7B_demo_colab.ipynb演示7B 模型微调与推理的 Colab 流程generations_qualitative_comparison_guanaco65b_vs_gpt35.ipynb对比65B 微调模型与 GPT-3.5 的生成质量对照zero_shot_mmlu_test.json / five_shot_mmlu_test.json评测集MMLU 测试集zero-shot 与 five-shot 两种设定zero_shot_mmlu_val.json / five_shot_mmlu_val.json验证集MMLU 验证集用于调参阶段评估vicuna_benchmark_human_annotations.csv标注Vicuna 基准的人工评分数据7b-hh-rlhf-oa-generations-topp0.9-temp0.7.jsonl生成记录7B 模型在 HH-RLHF 上的生成样本采样参数 topp0.9, temp0.7mturk_ui.html工具人工评测界面用于众包标注MMLU 那四个 JSON 文件是评测的核心。zero-shot 和 five-shot 的区别在于 prompt 里给不给示例zero-shot 直接问five-shot 给五个问答对再问。five-shot 通常分数更高但消耗更多上下文长度。验证集用来在训练过程中选超参测试集只在最后报告用别拿测试集调参否则分数虚高。2.3 从零搭起 QLoRA 微调环境环境配置是第一个容易翻车的地方。bitsandbytes 对 CUDA 版本敏感transformers 和 peft 的版本也要对齐。我一般用 conda 建独立环境避免和系统里的包打架。conda create -n qlora python3.10 -y conda activate qlora pip install torch2.1.0 --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.36.0 peft0.7.0 bitsandbytes0.41.3 pip install datasets accelerate scipy sentencepiece这里锁版本不是保守是血泪经验。bitsandbytes 0.41.x 和 torch 2.1 搭配稳定再新的组合有时会在加载 4-bit 模型时报CUDA error: an illegal memory access。transformers 4.36 对 QLoRA 相关的BitsAndBytesConfig支持完整。装完用一行命令验证import torch, bitsandbytes, transformers, peft print(torch.cuda.is_available(), bitsandbytes.__version__, transformers.__version__)输出True 0.41.3 4.36.0才算环境就绪。如果cuda.is_available()是 False先查驱动和 CUDA 版本别往下走。3. 用 BitsAndBytesConfig 加载 4-bit 模型并挂载 LoRA3.1 量化配置的四个关键参数加载 4-bit 模型靠BitsAndBytesConfig四个参数决定量化行为from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig import torch bnb_config BitsAndBytesConfig( load_in_4bitTrue, # 启用 4-bit 加载 bnb_4bit_quant_typenf4, # 用 NF4 而非 fp4 bnb_4bit_compute_dtypetorch.bfloat16,# 计算时还原到 bf16 bnb_4bit_use_double_quantTrue, # 开启双重量化 ) model AutoModelForCausalLM.from_pretrained( meta-llama/Llama-2-7b-hf, quantization_configbnb_config, device_mapauto, ) tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-2-7b-hf)bnb_4bit_quant_type选 nf4 是默认推荐fp4 在权重接近正态分布时信息损失更大。bnb_4bit_compute_dtype用 bf16 而不是 fp16是因为 bf16 动态范围大训练时不容易溢出如果你的卡不支持 bf16比如部分老架构退回 fp16 但要盯紧 loss 有没有变 nan。device_mapauto让 accelerate 自动分配层到可用设备单卡时就是全放一张卡。3.2 LoRA 适配器的 target_modules 怎么选挂 LoRA 用LoraConfig最容易出问题的是target_modules。选错了要么训不动要么显存暴涨。from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training model prepare_model_for_kbit_training(model) # 冻结基座转换 layernorm 精度 lora_config LoraConfig( r64, # 低秩维度 lora_alpha16, # 缩放系数 target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters()r64是 QLoRA 论文里 65B 模型用的值7B 可以降到 16 或 32。lora_alpha一般设成 r 的 1/4 到 1 倍这里 16 偏保守想更强适配可以调到 32。target_modules列全了注意力层和 MLP 层的投影矩阵只挂 q/v 也能跑但效果打折。prepare_model_for_kbit_training这步不能省它把基座参数冻结并把 layernorm 转到 fp32否则训练时梯度会污染量化权重。print_trainable_parameters()会打印可训练参数占比7B 模型挂上述配置大约在 1% 到 2% 之间。如果看到占比超过 5%检查是不是漏了prepare_model_for_kbit_training。3.3 训练参数与 MMLU 评测的衔接训练用Trainer或SFTTrainer关键参数是 batch size、梯度累积和学习率。QLoRA 常用小 batch 加梯度累积模拟大 batchfrom transformers import TrainingArguments training_args TrainingArguments( output_dir./guanaco-7b-lora, per_device_train_batch_size4, gradient_accumulation_steps4, # 等效 batch 16 learning_rate2e-4, lr_scheduler_typecosine, warmup_ratio0.03, num_train_epochs3, bf16True, logging_steps10, save_strategyepoch, optimpaged_adamw_8bit, # 分页优化器省显存 )optimpaged_adamw_8bit是 QLoRA 的标配优化器状态用 8-bit 存并在显存紧张时分页到内存。学习率 2e-4 对 LoRA 偏大7B 上如果 loss 震荡就降到 1e-4。gradient_accumulation_steps4配合 batch 4等效 batch 16单卡 24G 跑 7B 够用。训练完拿 MMLU 验证集评估用 five-shot 设定import json with open(five_shot_mmlu_val.json) as f: val_data json.load(f) # 每条样本构造 prompt5 个示例 1 个待答问题 # 逐条推理比对模型输出与答案统计准确率评测时注意把模型切到eval()并关掉 dropout否则分数会抖。zero-shot 和 five-shot 各跑一遍两者差距能反映模型对上下文示例的利用能力。4. 避坑与排查量化微调里最容易翻车的五件事4.1 加载 4-bit 模型报 illegal memory access现象from_pretrained加载到一半抛CUDA error: an illegal memory access was encountered。原因bitsandbytes 版本与 torch/CUDA 不匹配或驱动版本过低。常见于 torch 2.2 配 bitsandbytes 0.40 以下的组合。解决锁到 torch 2.1 bitsandbytes 0.41.3或升级驱动到支持当前 CUDA 的版本。先用nvidia-smi看驱动支持的 CUDA 上限再选对应的 torch 轮子。4.2 训练 loss 一直是 nan现象头几个 step 后 loss 变成 nan梯度爆炸。原因bnb_4bit_compute_dtype设成了 fp16而模型权重范围超出 fp16 表示能力或学习率过大。解决改用 bf16如果卡不支持 bf16把学习率降到 5e-5 并加max_grad_norm0.3做梯度裁剪。QLoRA 论文里 65B 用的就是 0.3 的裁剪阈值。4.3 显存没省下来反而比 FP16 还高现象加载 4-bit 后nvidia-smi显示占用和 FP16 差不多。原因device_map配置不当导致部分层留在 CPU 又反复搬运或没开双重量化或prepare_model_for_kbit_training没调用基座没冻结。解决确认bnb_4bit_use_double_quantTrue确认调用了prepare_model_for_kbit_trainingdevice_map单卡时直接设{: 0}比auto更可控。4.4 MMLU 评测分数远低于预期现象微调后 five-shot MMLU 只有随机水平25% 左右。原因prompt 模板和评测集格式不匹配模型没按预期输出选项字母或 tokenizer 的 padding 侧设错导致答案错位。解决检查 prompt 末尾是否明确要求输出 A/B/C/Dtokenizer 设padding_sideright训练和padding_sideleft推理要分清。推理时用leftpadding 避免生成位置偏移。4.5 合并 LoRA 后推理结果和训练时不一致现象训练时生成正常合并适配器回基座后输出乱码或重复。原因合并时精度转换出错或基座加载时没用量化配置而适配器是按量化权重训的。解决合并用model.merge_and_unload()后保存为 FP16推理时重新加载 FP16 基座。别把 4-bit 基座和适配器分开加载后直接合并精度对不上。5. 用生成对比与人工标注验证微调效果跑完训练不等于结束得验证模型到底学到了什么。资源包里的generations_qualitative_comparison_guanaco65b_vs_gpt35.ipynb给了一个对照思路同一批 prompt 分别喂给微调后的 Guanaco 65B 和 GPT-3.5把两边输出并排看。定性对比能暴露量化微调的典型问题——模型可能在某些任务上接近甚至超过 GPT-3.5但在需要长链推理的任务上明显掉队。我一般会固定一组 prompt覆盖问答、摘要、代码生成三类每类十条采样参数统一用topp0.9, temp0.7和包里那个 jsonl 的设定一致这样对比才公平。生成结果存成 jsonl字段至少包含 prompt、model_output、reference。然后拿vicuna_benchmark_human_annotations.csv的标注格式做人工打分或者用mturk_ui.html搭个本地评测页让同事盲评。一个具体技巧评测时把 zero-shot 和 five-shot 的结果放一起看。如果 five-shot 比 zero-shot 提升很小说明模型没学会利用上下文示例可能是训练数据里缺少 few-shot 格式的样本。这时候补一批带示例的训练数据比调 LoRA 的 r 值更有效。还有个容易忽略的点量化本身会引入噪声微调后的模型在训练分布内表现好一旦 prompt 风格偏移就崩。验证时故意混入一些口语化、带错别字的 prompt看模型鲁棒性。我吃过这个亏评测集太干净上线后真实用户输入一多样式就翻车。从那以后我每次做完 QLoRA 微调都强制走一遍「干净评测集 脏输入压力测试」两道关缺一道都不放心。希望这套流程帮到你。本文还有配套的精品资源点击获取 QLoRA量化微调实战：单卡24G跑65B大模型
简介QLoRA是一套面向大语言模型量化微调实践的工具与实验资料适合具备一定深度学习基础、希望以较低显存成本完成LLM指令微调的研究者与工程师。它围绕量化微调方法提供可复现的评测与生成数据帮助模型在特定任务上获得更好适应与表现。资源包共274个文件约50.81MB以249个jsonl评测与生成记录为主辅以7个sh运行脚本、4个py源码、4个json配置、2个ipynb演示笔记及md说明文档覆盖MMLU少样本与零样本测试、Vicuna基准人工标注、Guanaco与GPT-3.5生成质量对比等模块便于直接复现实验与横向比较。目前已有643人学习下载可据此快速搭建量化微调实验环境、理解评测数据组织方式并借鉴脚本与配置的落地思路。1. 量化 LLM 微调工具单卡 24G 也能把 65B 模型跑起来的实战路径显存不够是微调大模型时最常撞上的墙。一张 24G 的消费级卡想动 7B 全量微调都吃力更别说 65B。QLoRA 这套量化微调工具解决的正是这个矛盾它把预训练权重压到 4-bit 存进显存反向传播时再临时还原精度算梯度让 65B 模型在单张 48G 卡上完成指令微调成为可能。这份资源包里既有 Guanaco 7B 的 Colab 演示也有 65B 与 GPT-3.5 的生成质量对比还有 MMLU 的 zero-shot 与 five-shot 测试集。适合手里只有一两张卡、想跑通大模型微调全流程的工程师也适合需要评估量化微调后模型能力损失的研究者。2. QLoRA 的量化原理与资源包结构拆解2.1 4-bit NormalFloat 与双重量化到底省了什么常规 LoRA 微调把权重冻结只训练旁路低秩矩阵显存大头仍在基座权重上。一个 7B 模型以 FP16 加载约需 14G加上优化器状态和激活值24G 卡很快见底。QLoRA 的做法是先把基座权重用 4-bit NormalFloatNF4量化存下来7B 模型压到约 3.5G65B 压到约 33G。NF4 是一种信息论上对正态分布权重最优的 4-bit 数据类型比均匀量化的 INT4 在相同位宽下保留更多有效信息。光量化还不够。每层量化会引入量化常数这些常数本身也占显存。QLoRA 用双重量化把量化常数再量化一次每参数平均再省约 0.37 bit。再加上分页优化器在显存峰值时把优化器状态换出到内存避免 OOM。这三板斧叠起来才是 65B 单卡可训的关键。需要说清楚的是QLoRA 微调的是 LoRA 适配器不是基座权重本身。基座保持 4-bit 冻结只有旁路矩阵在 FP16 或 BF16 下更新。推理时可以把适配器合并回基座也可以分开加载。这个边界决定了它的适用场景你要的是让模型适配特定任务风格而不是从头注入大量新知识。2.2 资源包里的文件各自管什么拿到一个资源包先别急着跑把文件按用途分堆能省很多试错时间。这份包里大致分四类文件类型用途guanaco_7B_demo_colab.ipynb演示7B 模型微调与推理的 Colab 流程generations_qualitative_comparison_guanaco65b_vs_gpt35.ipynb对比65B 微调模型与 GPT-3.5 的生成质量对照zero_shot_mmlu_test.json / five_shot_mmlu_test.json评测集MMLU 测试集zero-shot 与 five-shot 两种设定zero_shot_mmlu_val.json / five_shot_mmlu_val.json验证集MMLU 验证集用于调参阶段评估vicuna_benchmark_human_annotations.csv标注Vicuna 基准的人工评分数据7b-hh-rlhf-oa-generations-topp0.9-temp0.7.jsonl生成记录7B 模型在 HH-RLHF 上的生成样本采样参数 topp0.9, temp0.7mturk_ui.html工具人工评测界面用于众包标注MMLU 那四个 JSON 文件是评测的核心。zero-shot 和 five-shot 的区别在于 prompt 里给不给示例zero-shot 直接问five-shot 给五个问答对再问。five-shot 通常分数更高但消耗更多上下文长度。验证集用来在训练过程中选超参测试集只在最后报告用别拿测试集调参否则分数虚高。2.3 从零搭起 QLoRA 微调环境环境配置是第一个容易翻车的地方。bitsandbytes 对 CUDA 版本敏感transformers 和 peft 的版本也要对齐。我一般用 conda 建独立环境避免和系统里的包打架。conda create -n qlora python3.10 -y conda activate qlora pip install torch2.1.0 --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.36.0 peft0.7.0 bitsandbytes0.41.3 pip install datasets accelerate scipy sentencepiece这里锁版本不是保守是血泪经验。bitsandbytes 0.41.x 和 torch 2.1 搭配稳定再新的组合有时会在加载 4-bit 模型时报CUDA error: an illegal memory access。transformers 4.36 对 QLoRA 相关的BitsAndBytesConfig支持完整。装完用一行命令验证import torch, bitsandbytes, transformers, peft print(torch.cuda.is_available(), bitsandbytes.__version__, transformers.__version__)输出True 0.41.3 4.36.0才算环境就绪。如果cuda.is_available()是 False先查驱动和 CUDA 版本别往下走。3. 用 BitsAndBytesConfig 加载 4-bit 模型并挂载 LoRA3.1 量化配置的四个关键参数加载 4-bit 模型靠BitsAndBytesConfig四个参数决定量化行为from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig import torch bnb_config BitsAndBytesConfig( load_in_4bitTrue, # 启用 4-bit 加载 bnb_4bit_quant_typenf4, # 用 NF4 而非 fp4 bnb_4bit_compute_dtypetorch.bfloat16,# 计算时还原到 bf16 bnb_4bit_use_double_quantTrue, # 开启双重量化 ) model AutoModelForCausalLM.from_pretrained( meta-llama/Llama-2-7b-hf, quantization_configbnb_config, device_mapauto, ) tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-2-7b-hf)bnb_4bit_quant_type选 nf4 是默认推荐fp4 在权重接近正态分布时信息损失更大。bnb_4bit_compute_dtype用 bf16 而不是 fp16是因为 bf16 动态范围大训练时不容易溢出如果你的卡不支持 bf16比如部分老架构退回 fp16 但要盯紧 loss 有没有变 nan。device_mapauto让 accelerate 自动分配层到可用设备单卡时就是全放一张卡。3.2 LoRA 适配器的 target_modules 怎么选挂 LoRA 用LoraConfig最容易出问题的是target_modules。选错了要么训不动要么显存暴涨。from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training model prepare_model_for_kbit_training(model) # 冻结基座转换 layernorm 精度 lora_config LoraConfig( r64, # 低秩维度 lora_alpha16, # 缩放系数 target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters()r64是 QLoRA 论文里 65B 模型用的值7B 可以降到 16 或 32。lora_alpha一般设成 r 的 1/4 到 1 倍这里 16 偏保守想更强适配可以调到 32。target_modules列全了注意力层和 MLP 层的投影矩阵只挂 q/v 也能跑但效果打折。prepare_model_for_kbit_training这步不能省它把基座参数冻结并把 layernorm 转到 fp32否则训练时梯度会污染量化权重。print_trainable_parameters()会打印可训练参数占比7B 模型挂上述配置大约在 1% 到 2% 之间。如果看到占比超过 5%检查是不是漏了prepare_model_for_kbit_training。3.3 训练参数与 MMLU 评测的衔接训练用Trainer或SFTTrainer关键参数是 batch size、梯度累积和学习率。QLoRA 常用小 batch 加梯度累积模拟大 batchfrom transformers import TrainingArguments training_args TrainingArguments( output_dir./guanaco-7b-lora, per_device_train_batch_size4, gradient_accumulation_steps4, # 等效 batch 16 learning_rate2e-4, lr_scheduler_typecosine, warmup_ratio0.03, num_train_epochs3, bf16True, logging_steps10, save_strategyepoch, optimpaged_adamw_8bit, # 分页优化器省显存 )optimpaged_adamw_8bit是 QLoRA 的标配优化器状态用 8-bit 存并在显存紧张时分页到内存。学习率 2e-4 对 LoRA 偏大7B 上如果 loss 震荡就降到 1e-4。gradient_accumulation_steps4配合 batch 4等效 batch 16单卡 24G 跑 7B 够用。训练完拿 MMLU 验证集评估用 five-shot 设定import json with open(five_shot_mmlu_val.json) as f: val_data json.load(f) # 每条样本构造 prompt5 个示例 1 个待答问题 # 逐条推理比对模型输出与答案统计准确率评测时注意把模型切到eval()并关掉 dropout否则分数会抖。zero-shot 和 five-shot 各跑一遍两者差距能反映模型对上下文示例的利用能力。4. 避坑与排查量化微调里最容易翻车的五件事4.1 加载 4-bit 模型报 illegal memory access现象from_pretrained加载到一半抛CUDA error: an illegal memory access was encountered。原因bitsandbytes 版本与 torch/CUDA 不匹配或驱动版本过低。常见于 torch 2.2 配 bitsandbytes 0.40 以下的组合。解决锁到 torch 2.1 bitsandbytes 0.41.3或升级驱动到支持当前 CUDA 的版本。先用nvidia-smi看驱动支持的 CUDA 上限再选对应的 torch 轮子。4.2 训练 loss 一直是 nan现象头几个 step 后 loss 变成 nan梯度爆炸。原因bnb_4bit_compute_dtype设成了 fp16而模型权重范围超出 fp16 表示能力或学习率过大。解决改用 bf16如果卡不支持 bf16把学习率降到 5e-5 并加max_grad_norm0.3做梯度裁剪。QLoRA 论文里 65B 用的就是 0.3 的裁剪阈值。4.3 显存没省下来反而比 FP16 还高现象加载 4-bit 后nvidia-smi显示占用和 FP16 差不多。原因device_map配置不当导致部分层留在 CPU 又反复搬运或没开双重量化或prepare_model_for_kbit_training没调用基座没冻结。解决确认bnb_4bit_use_double_quantTrue确认调用了prepare_model_for_kbit_trainingdevice_map单卡时直接设{: 0}比auto更可控。4.4 MMLU 评测分数远低于预期现象微调后 five-shot MMLU 只有随机水平25% 左右。原因prompt 模板和评测集格式不匹配模型没按预期输出选项字母或 tokenizer 的 padding 侧设错导致答案错位。解决检查 prompt 末尾是否明确要求输出 A/B/C/Dtokenizer 设padding_sideright训练和padding_sideleft推理要分清。推理时用leftpadding 避免生成位置偏移。4.5 合并 LoRA 后推理结果和训练时不一致现象训练时生成正常合并适配器回基座后输出乱码或重复。原因合并时精度转换出错或基座加载时没用量化配置而适配器是按量化权重训的。解决合并用model.merge_and_unload()后保存为 FP16推理时重新加载 FP16 基座。别把 4-bit 基座和适配器分开加载后直接合并精度对不上。5. 用生成对比与人工标注验证微调效果跑完训练不等于结束得验证模型到底学到了什么。资源包里的generations_qualitative_comparison_guanaco65b_vs_gpt35.ipynb给了一个对照思路同一批 prompt 分别喂给微调后的 Guanaco 65B 和 GPT-3.5把两边输出并排看。定性对比能暴露量化微调的典型问题——模型可能在某些任务上接近甚至超过 GPT-3.5但在需要长链推理的任务上明显掉队。我一般会固定一组 prompt覆盖问答、摘要、代码生成三类每类十条采样参数统一用topp0.9, temp0.7和包里那个 jsonl 的设定一致这样对比才公平。生成结果存成 jsonl字段至少包含 prompt、model_output、reference。然后拿vicuna_benchmark_human_annotations.csv的标注格式做人工打分或者用mturk_ui.html搭个本地评测页让同事盲评。一个具体技巧评测时把 zero-shot 和 five-shot 的结果放一起看。如果 five-shot 比 zero-shot 提升很小说明模型没学会利用上下文示例可能是训练数据里缺少 few-shot 格式的样本。这时候补一批带示例的训练数据比调 LoRA 的 r 值更有效。还有个容易忽略的点量化本身会引入噪声微调后的模型在训练分布内表现好一旦 prompt 风格偏移就崩。验证时故意混入一些口语化、带错别字的 prompt看模型鲁棒性。我吃过这个亏评测集太干净上线后真实用户输入一多样式就翻车。从那以后我每次做完 QLoRA 微调都强制走一遍「干净评测集 脏输入压力测试」两道关缺一道都不放心。希望这套流程帮到你。本文还有配套的精品资源点击获取