1. 为什么主播需要一套"数字衣橱"，而不是一张张立绘
做虚拟形象这行久了，会发现一个很现实的问题：主播换衣服的频率远比外人想象的高。节日要换、联动要换、生日回要换、粉丝打赏达标要换，甚至一场四小时的直播中途就得换。如果每次换装都要重新约稿、重新排期、重新等一周，那这个角色基本就废了——不是设计不行，是供给跟不上。
我这次做的这个项目，内部的代号叫Stable Yogi Leather-Dress-Collection，说白了就是一套围绕"皮革连衣裙"这个单一品类做深做透的虚拟偶像服装设计资产库，目标是给直播主播搭一个能持续产出、风格统一、随时可调用的数字衣橱。它不是一个模型文件那么简单，而是"数据集 + 训练配置 + 出图工作流 + 分层资产 + 直播端接入"的一整套东西。适合的人群也很明确：正在给虚拟主播做形象迭代的画师、自己动手折腾形象的独立主播、以及想从"单张接单"转型成"资产化交付"的个人创作者。哪怕你只会基础的出图操作，只要按下面的配比和参数走一遍，也能把这套流程跑通。
1.1 从"一次性的画"到"可复用的资产体系"
传统接单模式的逻辑是"一张图 = 一个交付物"，画师交付的是视觉结果，主播拿到的是一个不能改的成品。这套模式在静态场景下没问题，但直播是动态的：光要变、姿势要变、镜头要拉近拉远、表情要跟弹幕互动。一张精修立绘在这些需求面前基本没有还手之力，改一次就得重画。
数字衣橱的逻辑反过来，它交付的是"生成能力"而不是"生成结果"。同样是那件黑皮裙，我关心的不是它画得多好看，而是：换一个站姿还能不能保持裙摆垂坠的走向？拉近到半身，胸口的拉链和肩带是不是还咬得住结构？换个光照环境，皮革的反光会不会塌成一块塑料？这些问题的答案，决定了这套资产能不能撑起一年几十次的换装需求。
判断一套服装资产成不成立，我的标准很土：能不能在十分钟内产出三张不同角度、结构都不崩的可用图。做不到，那它就还停留在"插画"层面，进不了"衣橱"。
这个转变带来的直接好处是成本结构的改变。前期投入集中在数据集和训练上，比较重；后期每多出一套变体，边际成本几乎为零。一套跑通的皮革连衣裙 LoRA，配合不同的配色、长度、配饰组合，可以裂变出几十个 SKU，而且风格天然统一——这点对虚拟偶像来说极其重要，因为角色的辨识度很大程度来自"看起来是同一个世界里的东西"。
1.2 为什么拿皮革连衣裙当第一个标的
选品这件事我想了挺久，最后定在皮革连衣裙上，理由是它同时踩中了三个技术难点，属于"练手性价比最高"的品类。
第一，皮革是有明确材质特征的。它不像纯棉那样吃光均匀，也不像丝绸那样靠流动感取胜。皮革的关键在于高光的形状——它是一块一块的、边缘偏硬的、随曲面走向变化的高光，同时还带一点点粗糙区域的过渡。模型如果没学到这个，画出来要么像塑料，要么像湿身布料，一眼假。把皮革练明白，等于把"材质控制"这门课过了。
第二，连衣裙是强结构服装。肩带、胸省、腰线、裙摆、拉链、缝线，任何一处错位都会让整张图垮掉。这逼着我在数据集阶段就必须把角度覆盖做全，不能只挑好看的正面照。
第三，它的延展性极好。同一个版型，换颜色、换长度、加减配饰、改领口，就能撑起一整个系列。这对"衣橱"这个概念来说是刚需——衣橱不怕单品少，怕的是单品之间不成体系。
2. 数据集构建：Leather-Dress-Collection 的拆解与清洗
数据集这块我踩的坑最多，也最值得细说。很多人训服装 LoRA 失败，问题不在参数，而在一开始喂进去的东西就是乱的。
2.1 张数、角度与景别的配比
先说结论：40 到 60 张是我实测下来最舒服的区间。少于 30 张，模型学不到结构，出图会靠底模自由发挥；多于 80 张，过拟合风险陡增，而且训练时间线性上涨，试错成本受不了。
但张数只是及格线，真正决定成败的是配比。我的分配是这样的：
| 类别 | 占比 | 张数（按 50 张计） | 作用 |
|---|---|---|---|
| 全身正面/微侧 | 35% | 约 18 张 | 建立整体版型认知 |
| 半身特写 | 25% | 约 12 张 | 锁定领口、肩带、胸口结构 |
| 局部细节（拉链、缝线、腰扣） | 20% | 约 10 张 | 提供材质纹理样本 |
| 背面与侧面 | 12% | 约 6 张 | 补全环绕结构 |
| 动态姿势（坐、转身、抬手） | 8% | 约 4 张 | 减少姿势绑定 |
这张表最关键的一行其实是"局部细节"。很多人只喂全身图，结果模型对皮革的理解永远停留在"一大片黑亮的东西"，一旦镜头拉近，缝线、拉链齿、皮质纹理全部糊掉。我一开始也犯这个错，出图放到 2 倍看全是糊的，后来补了十张微距细节才救回来。
背面和侧面同理，占比不高但不能没有。缺了背面，模型画转身动作时会自己编一个后背出来，编得还挺自信，但和前襟完全对不上。
2.2 打标策略与触发词的设计
打标这件事有两种流派：一种是精细标注，把每个细节都用自然语言描述清楚；另一种是极简标注，只保留触发词和少数几个核心标签。做服装类我倾向后者偏中间——触发词 + 结构化标签。
触发词我设成一个底模里绝不可能出现的组合，比如lydc leatherdress。这里有个细节：两个词的组合比单个生造词更稳，因为单个生造词在 tokenizer 里会被拆成奇怪的子词，训练时容易学偏；而两个常见词的组合既有明确指向，又不会污染底模原有语义。
标签部分我只写三类：
- 结构类：
sleeveless、halter neck、front zipper、a-line skirt、above knee - 材质类：
black leather、glossy finish、stitching detail、metal hardware - 视角类：
full body、upper body、from behind、close-up
不上masterpiece、best quality这类质量词。原因很直接：这些词在数据集里出现频率极高但语义极空，模型学不到任何关于服装的信息，反而会稀释触发词的权重。我做过对比，去掉质量词之后，触发词的响应强度明显提升，出图时权重给到 0.75 就能稳定生效，不用顶到 1.0。
还有一个反直觉的点：不要给每张图写不一样的长描述。服装 LoRA 学的是"这件衣服长什么样"，不是"这张图讲了什么故事"。描述越花，模型越容易把描述里的场景元素和服装绑定，最后你画棚拍也给你加个咖啡馆背景。
2.3 数据清洗：什么样的图必须扔掉
清洗环节我总结了四条硬性淘汰标准，宁可少十张，不能留一张。
第一，光照极端的扔掉。逆光、强侧光、彩色氛围光，这些图会让模型把光照特征误当成材质特征。我吃过一次亏，数据集中有几张蓝紫色打光的图，结果训出来的模型不管什么场景都给裙子加一层冷紫反光，改都改不掉，只能重训。
第二，遮挡严重的扔掉。手臂挡腰、头发盖肩、外套压裙，这些都会让模型对结构的理解出现空洞。真需要动态姿势，就单独找遮挡少的动态图。
第三，画风不统一的扔掉。这是最容易被忽视的一条。如果你的数据集里混了厚涂、赛璐璐、写实三种风格，模型会学出一个"四不像"，出图时风格随机漂移。做衣橱必须风格单一，我这次全部锁定在同一种偏赛璐璐的厚涂风格上，边缘清晰、色块分明，这样后续换配色才不会打架。
第四，分辨率不足的扔掉。低于 1024 短边的图直接淘汰。强行放大再喂进去，等于让模型学习插值算法产生的糊边，得不偿失。
3. 训练参数：显存、步数与防过拟合的实际取值
参数这块我不想写成"抄这个就行"，因为不同底模、不同数据量差别很大。但我可以把我这套配置的取值理由讲清楚，你按自己的情况微调就行。
3.1 完整参数表与每一项的取舍逻辑
| 参数 | 取值 | 为什么这么定 |
|---|---|---|
| 底模 | SDXL 基础模型（动漫向微调版） | 1024 原生分辨率，细节保留好；服装类对纹理要求高，SD1.5 在细节上吃亏 |
| 网络维度 rank | 32 | 服装的结构信息量比人物脸大得多，rank 16 会丢褶皱走向，64 又容易过拟合 |
| alpha | 16 | 取 rank 的一半，实测这个比例下学习率和权重的配合最顺 |
| 学习率（UNet） | 1e-4 | 常规值，配合 cosine 调度 |
| 学习率（文本编码器） | 5e-6 | 只做微调，防止触发词污染整个词表 |
| batch size | 2 | 24G 显存下的稳妥值，再大就得开梯度累积 |
| 训练轮数 | 10 到 15 | 50 张图 × 8 重复 ≈ 400 步/轮，10 轮左右收敛 |
| 重复次数 | 8 | 让每张图在一个 epoch 内被充分看到 |
| 优化器 | AdamW 8bit | 省显存，效果和全精度差别很小 |
| 混合精度 | fp16 | 标配 |
| 分辨率 | 1024 × 1024 | 与底模对齐，避免裁切损失结构 |
| 文本编码器训练 | 开启（低学习率） | 服装需要新的语义锚点，纯 UNet 训练容易学不会触发词 |
关于 rank 的选择我想多说两句。这是最容易被"抄作业"抄错的地方。很多人看别人用 rank 8 效果好，自己也用 8，结果训人物可以，训服装就废了。原因很简单：人物 LoRA 主要学的是脸的五官比例，信息维度低；而一件衣服包含版型、材质、五金、缝线、褶皱多个独立维度，压缩到 8 维必然互相干扰。我自己对比过 rank 16 和 32，同样 50 张数据，16 的出图在裙摆褶皱处会明显"糊成一片"，32 就能分出层次。
3.2 怎么判断过拟合和欠拟合
这两个状态的表现完全不同，但很多人分不清，往往把欠拟合当成"模型没学会"，然后加轮数，越加越糟。
欠拟合的典型症状：出图时衣服基本靠底模脑补，触发词响应很弱，权重给到 0.8 才有一点影子，而且每次出来的版型都不一样。样本图（X/Y/Z 对比图）里，训练集的图还原度都很低。这种情况加轮数或者提学习率，方向是对的。
过拟合的症状更隐蔽：训练集上的图还原得几乎一模一样，但换成新姿势、新场景就崩。最常见的表现是背景污染——你明明写的是纯色背景，出图却带出了训练集里某张图的墙纸纹理；或者姿势被锁死，不管怎么写 prompt 都是那几个站姿。这时候要做的是减轮数、降 rank、或者直接砍数据集里的重复样本。
我一般会在第 8、10、12 轮各存一次权重，然后拿同一组固定种子、固定 prompt 分别出图对比。判断标准是：哪个权重在"新姿势 + 新光照"下还能保持版型，就用哪个。不看还原度，看泛化。这个思路和训人物 LoRA 正好相反，人物看的是像不像，服装看的是稳不稳。
3.3 权重调度：别只用单一 LoRA
实际出图时我很少把服装 LoRA 单独拉满，通常是这样组合的：
- 服装 LoRA 权重 0.65 到 0.8
- 角色 LoRA 权重 0.5 到 0.7
- 触发词放在 prompt 前段
两个 LoRA 同时挂载会互相抢权重，这是必然的。解决办法不是无脑降权重，而是在提示词里明确分工：角色相关描述（发型、瞳色、脸型特征）交给角色 LoRA 的触发词，服装结构描述（版型、材质、五金）交给服装 LoRA 的触发词，中间用逗号断开，让注意力机制能分开处理。
如果两个 LoRA 训练时用的底模版本不一致，还会出现色调漂移，表现为整张图发灰或者发紫。这种情况我一般会在负面提示词里补上色偏相关的描述来压一下，实在压不住就统一底模重训。
4. 出图工作流：把裙子真正"穿"到角色身上
训练只是前半程，真正决定成品质量的是出图阶段。这套工作流我磨了很久，核心是解决三个问题：角色一致性、结构准确性、材质真实感。
4.1 三重锁定：让同一个角色反复穿上同一件衣服
角色一致性是虚拟偶像的生命线。同一个角色今天脸圆一点明天脸长一点，粉丝立刻就出戏。我用的是三层控制叠加：
第一层，角色 LoRA。这是基础，负责把五官比例、发型走向、瞳色固定下来。权重 0.6 左右，太高会压制服装表现。
第二层，姿态控制。用 OpenPose 类的骨架控制提取参考姿势，权重 0.7 到 0.9。这一步解决的是"衣服在特定姿势下怎么变形"——比如抬手时腋下的布料怎么拉扯，坐下时裙摆怎么堆叠。纯靠提示词写"抬手"是控制不住的，必须给骨架。
第三层，图像提示。用图像特征注入的方式，把一张已经确认过的正面全身图作为参考，权重控制在 0.4 到 0.55。这一层的作用是"抓整体气质"，包括配色倾向、光影调性、服装的疏密节奏。权重超过 0.6 就会开始复制参考图的构图，反而限制发挥。
三层叠加的顺序很重要：先出 20 张低步数的草图，只看结构对不对；结构过了再上高步数精修；最后才做局部重绘。不要一步到位出终图，那样一旦结构错了，前面所有算力都白费。
4.2 材质表现：皮革的高光到底该怎么写
这块是我花时间最多的地方。皮革难画，本质上是难在"高光的分布逻辑"。
真实皮革的高光有三个特征：形状偏块状而非条状、边缘相对清晰、随曲面走向扭曲。模型如果只学到"亮"，就会画成塑料；只学到"暗"，就成了哑光布。
我的提示词组合是这样的：
lydc leatherdress, black leather, glossy finish with soft sheen, specular highlight on shoulder and hip, visible grain texture, metal zipper with slight reflection, stitching detail关键词是soft sheen（柔和光泽）和visible grain texture（可见纹理）。前者负责压制"塑料感"，后者负责在近景时提供细节层次。如果只写shiny，十有八九会翻车成乳胶质感。
负面提示词这边我常挂matte, fabric texture, cotton, latex, plastic这几个。特别提一下latex——皮革和乳胶在模型语义里非常近，不主动排斥的话，稍微一放大就变成紧身乳胶衣，气质完全跑偏。
参数上，CFG 我一般给 5 到 6.5。超过 7 之后皮革高光会变得非常硬，像是上了一层清漆，反而不真实。采样器用 DPM++ 2M Karras，步数 28 到 32，低于 25 时缝线和拉链齿会糊。
一个实战技巧：如果出图的皮革总是偏亮，可以在提示词里加一句
semi-gloss finish, some matte areas on skirt。给模型一个"不是全身都亮"的暗示，它就会主动做出明暗分区，质感一下子立起来。
4.3 换装与局部重绘的实操细节
"换装"这个动作在实际工作里占比极高——主播说这件黑的换成酒红，或者裙子加长到过膝，这种需求不能重出一整张图，必须用局部重绘。
流程是这样的：
- 用蒙版工具把服装区域刷出来，边缘往里收 3 到 5 像素，避免接缝处出现色差带
- 重绘幅度（denoising strength）给到 0.55 到 0.7。低于 0.5 改不动颜色，高于 0.75 会破坏原有结构
- 提示词里保留原来的版型描述，只改颜色和材质相关的词
- 蒙版羽化 4 到 8 像素，让新旧区域自然过渡
改颜色相对简单，改长度就麻烦一些，因为涉及结构调整。这时候我会先用姿态/深度控制把新轮廓"框"出来，再在框内重绘，这样裙摆的落点才不会飘。
还有一个高频需求是"多角度一致性"。主播的立绘需要正面、侧面、背面三张能对得上。我的做法是：先用正面图确定版型，然后用深度控制 + 低强度图像提示，从正面推导侧面和背面，最后人工修一遍接缝。完全靠模型一次出三视图基本不现实，推导 + 微调才是稳的路子。
4.4 放大与后期：别让细节死在最后一步
出图分辨率到 1024 之后，如果要用于直播立绘或者印刷物料，还得往上放大。这里我不用简单的插值放大，而是用分块重绘的方式——把图切成若干块，每块单独重绘再加权融合，放大倍率控制在 2 倍以内。超过 2 倍就要分两轮做，一次拉太多会出现明显的重复纹理。
后期我只做三件事：轻微锐化（半径 0.5 到 0.8）、对比度微调、以及边缘修整。不上重滤镜，尤其不要用那种一键变清晰的工具，它会把皮革纹理磨平，得不偿失。
5. 数字衣橱的资产管理：让三个月后的你还找得到东西
这部分听起来不性感，但它是"衣橱"和"一堆散图"的分水岭。我见过太多人，模型训得挺好，三个月后想改配色，发现数据集、配置、出图记录全散了，只能从头再来。
5.1 命名规范与目录结构
我的命名规则是四段式：系列_品类_变体_版本。比如lydc_dress_black-zip_v3。看着啰嗦，但好处是任何一张图丢在文件夹里，你都能一眼看出它属于哪个系列、什么品类、第几版。
目录结构按"资产类型"分，不按"时间"分：
/lydc-collection /01-dataset /raw 原始素材 /clean 清洗后 /captioned 已打标 /02-training /configs 各轮配置 /weights 各轮权重（按轮数命名） /samples 每轮固定种子的对比图 /03-workflow /prompts 常用提示词模板 /workflows 工作流文件 /04-output /character-a 按角色分 /character-b /05-delivery /layered 分层文件 /textures 贴图关键点是/02-training/samples这个目录。每训一轮我就用固定种子跑一组对比图存进去，长期下来这就是一份完整的"训练健康档案"。哪天出图不对，翻一下就知道是权重退化了还是提示词写错了。
5.2 分层交付：给下游留活路
如果这套资产要交给别人做动画或者做 3D 绑定，交付物必须是分层的。我的分层逻辑是：
| 图层组 | 内容 | 说明 |
|---|---|---|
| 底层 | 身体、肤色 | 不含服装，保证换装不露底 |
| 服装主体 | 裙身、袖子 | 独立成组，方便整体位移 |
| 五金件 | 拉链、扣、环 | 单独分层，方便换金属色 |
| 高光层 | 皮革反光 | 用叠加模式，可单独调强度 |
| 阴影层 | 褶皱与投影 | 正片叠底，方便改光照 |
把高光和阴影拆出来的好处是，同一件衣服在棚拍光、舞台光、夜景下可以快速切换，不用重画。这一层设计省下来的时间，比训练阶段省的多得多。
5.3 直播端怎么接：2D 和 3D 的取舍
资产做完了，最终要落到直播场景。这里有个现实的取舍。
2D 路线（立绘 + 面部捕捉）成本低、风格可控、和这套服装资产契合度高，缺点是换装需要重新出图，做不到实时物理效果。适合个人主播和小团队。
3D 路线成本高、需要建模和绑定，但换装可以做成模块化的——裙身、配饰、鞋子各自独立，实时替换。缺点是 3D 很难还原 2D 那种厚涂质感，皮革的高光表现会打折扣。
我目前的方案是混合：日常直播用 2D 立绘 + 预生成的换装图集，重要场合用 3D 模型。图集这边我一般会为每个 SKU 准备至少 6 个表情/姿势组合，覆盖常见的直播状态。文件命名统一，接进推流软件的时候直接按序号轮播，切场景的时候不会手忙脚乱。
6. 常见问题排查：那些让我重训过三次的坑
6.1 问题速查表
| 现象 | 大概率原因 | 处理方式 |
|---|---|---|
| 触发词没反应，衣服靠脑补 | 文本编码器没训 / 学习率过低 | 开启文本编码器训练，学习率 5e-6 |
| 出图永远是那几个姿势 | 数据集姿势太单一，过拟合 | 补充动态姿势样本，或降低训练轮数 |
| 背景带出训练集的墙纸 | 打标时没描述背景 / 过拟合 | 补simple background标签，减轮数 |
| 皮革像塑料或乳胶 | 提示词缺少哑光描述，负面未排斥 | 加soft sheen，负面加latex, plastic |
| 拉链、缝线糊成一片 | 数据集缺局部细节图 / 步数太低 | 补微距样本，步数提到 30 以上 |
| 换装后接缝有明显色带 | 蒙版边缘没羽化 / 重绘幅度太高 | 羽化 4 到 8 像素，幅度降到 0.6 |
| 和角色 LoRA 一起用色调发灰 | 两个 LoRA 底模版本不一致 | 统一底模重训，或负面压色偏 |
| 放大后出现重复纹理 | 单次放大倍率过高 | 分两轮，每轮不超过 2 倍 |
| 侧面/背面结构和正面对不上 | 数据集角度覆盖不足 | 补背面与侧面样本，占比提到 15% |
| 换个配色就整件崩 | 颜色和版型在数据集里强绑定 | 数据集补充同款不同色样本 |
6.2 三个我实际踩过的坑
第一个坑：加了质量词反而变差。刚开始我按常规习惯在每张图的标签前都加上质量词，结果训出来的模型对触发词极其迟钝。排查了很久才发现，质量词在数据集里出现率接近 100%，模型把它当成了"每张图都有的背景噪声"，直接忽略了。去掉之后触发词响应立刻正常。这件事让我记住一个原则：数据集里的高频词等于无效词。
第二个坑：数据集混了两种画风，训出一个精神分裂的模型。当时为了凑数量，从不同来源抓了图，一半是厚涂一半是平涂。结果出图时风格随机漂移，同一个提示词跑十次能出五种画风。这个问题没法靠参数救，只能重洗数据集。教训是：宁可只有 30 张风格统一的图，也不要 80 张风格混杂的图。
第三个坑：过拟合被误判成欠拟合。有一版模型出图特别"听话"，提示词写什么就出什么，我还挺高兴。直到发现不管写什么场景，背景永远带一点暖黄色调，才意识到模型把训练集的色调一起学进去了。当时我的第一反应是"学得不够"，差点加轮数，幸好先做了对比测试才发现是过拟合。判断方法其实很简单：拿一张训练集里完全没出现过的姿势去测，如果崩了，就是过拟合；如果只是不够像，才是欠拟合。
6.3 几条不写在文档里的经验
数据集里留 2 到 3 张"低质量但有价值"的图是值得的。比如有一张光影很糟糕但背面结构特别清楚的图，我犹豫了很久还是留下了，结果模型对后背拉链的理解明显好于之前。完美主义的清洗有时候会洗掉关键信息。
训练过程中不要频繁中断去看结果。我早期每两轮就停下来测一次，反复调整，最后发现反而不如一次性跑完再统一对比。中断会打乱学习率调度，曲线会变得很难看。
还有一点关于权重：服装 LoRA 的甜点权重通常比你想的低。我一开始总想给到 0.9 求还原，结果角色特征被压得死死的。后来降到 0.7，反而两边都活了。这个数值没有普适答案，但"宁低勿高"这个大方向基本没错。
最后一个建议，如果你打算长期做虚拟偶像服装设计这条线，从第一天起就把提示词模板和工作流文件当资产管起来。我现在的/03-workflow/prompts里存了四十多个模板，按"棚拍/舞台/日常/夜景"分类，新接一个角色直接套用改几个词就能出图，效率比每次现写高一个数量级。这套东西的价值，往往要等到你做第十套服装的时候才真正显现出来。