录一段干声就换风格：YuE2 零样本翻唱三步走，一个模型都不用训

把一首歌"翻"成另一种风格，传统做法要么准备大量目标歌手的音色数据做微调，要么依赖云端封闭服务把录制权交出去。YuE2 给出了第三条路：不训练、不微调、不换模型，只靠"录音 → 旋律谱 → 新风格重排"这条符号化管线，就能用同一个通用 checkpoint 输出 48kHz 立体声的完整翻唱。它在 WildSongBench 上与 Suno v5/v6 正面竞争，零样本翻唱评测中 948 首作品的旋律保持度从无乐谱时的 0.006 CLEWS mAP 跳到 0.647。本文结合官方 Music Cover 工作流模板与仓库中的实际模型文件，把这三步拆到节点和命令级。

为什么"零样本翻唱"在 YuE2 里成立

先看一个容易被忽略的前提：YuE2 的翻唱流程里，参考录音从头到尾都没有作为声学条件直接喂给生成模型。官方工作流模板明确画出了这条链路：

Reference Audio ↓ SheetSage2 ↓ Melody ABC ↓ YuE2 + Style + Lyrics ↓ New Cover Audio

录音先被 SheetSage2 转成一份人可读的 ABC 旋律谱，YuE2 再把这份乐谱当作"作曲规划"来重新演绎——这就是零样本的关键：翻唱能力不在音色层面，而在符号规划层面。模型本身只负责"读谱 + 按新风格渲染"，所以一个通用 checkpoint 就够了，不需要任何翻唱专用的微调权重。

支撑这条链路的是 YuE2 的 AR–NAR 混合 Transformer（MoT）架构：主干自回归地预测符号乐谱与语义音乐 token，再用 flow matching 生成声学隐变量，最后由 VAE 解码成 48kHz 立体声音频。官方 Python API 把这一过程拆成plan()→generate_semantic()→synthesize()→decode()四个显式阶段，乐谱规划是其中可读、可改、可干预的一环。

这套"先写谱、后渲染"的设计在数据上也站得住脚。WildSongBench 自动评测中，YuE2（best-of-8）拿到 6.9632 的 SongBench 全局平均分，高于 Suno v5 的 6.8721 和 Mureka 9 的 6.9377；标准 YuE2 设置也有 6.7316。而对翻唱场景，官方在 948 首作品上对比发现，带完整乐谱时 CLEWS mAP 达到 0.647，没有乐谱直接生成时只有 0.006——乐谱是翻唱质量的绝对天花板，这也解释了为什么整个流程的第一站是"转录"而不是"生成"。

社区侧的热度同样可作佐证：国内媒体将 YuE2 称为"Suno 最强开源对手"、强调 4090 单卡一分钟出歌；ComfyUI v0.36.0 更新直接把 Yue2 音乐纳入官方发布；YuE2 在 Hugging Face 全球模型 Trending 榜一度冲到第 3、文本转音频分类第 1。本地部署的门槛是 24GB 显存（BF16 支持），对消费级 GPU 是可行的。

第一步：SheetSage2，把干声变成无和弦旋律谱

这一环节的模型已经躺在仓库里：audio_encoders/sheetsage2_bf16.safetensors，约 1.29GB。SheetSage2 是全曲主旋律转录器，官方在 15 项转写基准中领先 12 项，人声旋律音级 F1 在 RWC-Pop 上达 82.51%、在 Rock Corpus 上达 67.08%。

翻唱转录的标准姿势是--melody-only：只保留人声与器乐旋律、省略和弦符号。这正是"无和弦旋律谱"的含义——旋律是必须被保留的"创作事实"，和弦则要留给新风格重新发挥。上游仓库根目录下的命令形如：

python models/SheetSage2/infer.py source.wav --output cover-score --melody-only

产物cover-score/score.abc就是后续要喂给生成器的 ABC 乐谱。如果你更习惯 Transformers 接口，等价调用长这样，且必须显式校验转录是否真的产出了可用乐谱：

from transformers import AutoModel model = AutoModel.from_pretrained( "models/SheetSage2", trust_remote_code=True, ).eval().to("cuda") result = model.transcribe( "source.wav", output_dir="cover-score", melody_only=True, ) if not result.get("abc") or result.get("abc_error"): raise RuntimeError("Transcription did not produce a usable melody score") print(result.get("warnings", []))

两个环境细节值得提前踩掉：

• 环境隔离是硬要求。SheetSage2 与 YuE2 依赖版本不同，官方建议分别为它们建独立虚拟环境（SheetSage2 侧需要 Python 3.10/3.11 与 FFmpeg 6.1 及其动态库），两者之间只交换 ABC 文件与音频，转录与生成串行执行，可以共享同一块 GPU；
• 不需要单独做特征提取。加载 SheetSage2 会自动带上其配置选定的 MERT-v2-FullSong 编码器，这是 YuE2 技术报告里"从无对齐录音中构建监督信号"的关键组件，但用户侧无需额外下载或调用。

在 ComfyUI 侧，这一步对应AudioEncoderLoader（加载 sheetsage2_bf16）与SheetSage2AudioToABC两个节点，后者默认mode=melody，输入LoadAudio载入的参考音频，输出 ABC 字符串。整个流程在模型与 ABC 两个分组里完成，全程可视化。

第二步：人工审校乐谱，再准备风格与歌词请求

转录不保证完美，而官方指南有一句非常直白的话：转录错误会原样带进翻唱。所以第二步是人机交接的关键节点——审校必须做，且不能偷懒。

审校什么

对照原曲逐项听与看：音准（旋律音级是否出错）、节拍（音符时值与拍号）、段落顺序（Verse/Chorus 是否对齐）。同时检查转录命令的退出状态码与 warnings。在 ComfyUI 中，SheetSage2AudioToABC的输出会接一个PreviewAny节点把 ABC 乐谱展示在画布上，你可以直接阅读、复制并修改这份谱面，再回填给生成节点——这就是"白盒"流程对用户最实在的体现：乐谱是文本，改谱就是改文本。

准备请求 JSON

上游的生成入口统一收一个请求文件，翻唱请求的核心字段是style、lyrics、cot与seed：

{ "style": "English, soulful jazz-pop, expressive male vocal, relaxed 88 BPM, Rhodes piano, upright bass, brushed drums, warm saxophone, subtle strings, intimate late-night atmosphere", "lyrics": "[Verse]\nStreetlights shimmer on the pavement\nMidnight breathing soft and slow\n\n[Chorus]\nStay with me until the morning\nLet the city fade away", "cot": "melody", "seed": 42 }

两个输入都有官方明确的质量规范：

• Style 只描述目标声音，不要描述原曲。可组合的要素包括流派（jazz、pop、rock……）、人声特质（warm male vocal）、语言、速度（88 BPM / slow / upbeat）、乐器清单（Rhodes piano、upright bass、brushed drums……）与情绪（intimate、energetic、nostalgic）。工作流模板里给出的示例是 "English, soulful jazz-pop, expressive male vocal, relaxed 88 BPM, Rhodes piano, upright bass, brushed drums, warm saxophone, subtle strings, intimate late-night atmosphere, rich and organic live-band production"——可以看到它是一串可叠加的受控描述词，而非一句散文。
• Lyrics 用分节标签组织：[Verse]、[Chorus]、[Bridge]、[Outro]，标签顺序与歌词顺序要和乐谱段落对齐。官方特别提醒：想让新词贴合原旋律，断句与音节数要尽量贴近原曲的 phrasing——翻译或重写歌词时，这一步的取舍直接决定"唱起来顺不顺"。

cot字段是本流程的灵魂开关，它有三个档位：full（生成可编辑的旋律+和弦完整规划，新歌默认）、melody（只锁旋律、伴奏自由，翻唱推荐）、off（完全自由生成）。翻唱选melody的理由很具体：只保留旋律这一条硬约束，伴奏才有空间去适配新风格。如果你手里有固定和声的完整乐谱、希望翻唱保留原曲和声走向，则用cot="full"并传入带和弦的谱面。

在 ComfyUI 工作流里，这些字段全部以输入形式暴露在YuE2GenerateMusic节点上：Style、Lyrics、ABC 三个文本框各司其职，另有seed、max_duration（模板默认 360 秒）与采样参数（temperature=1、top_p=0.95、top_k=100、repetition_penalty=1.2）。

第三步：生成、听评，与必须讲清楚的效果边界

命令行与 Python 两种姿势

请求文件就绪后，切回 YuE2 环境，把审校过的乐谱一并交出去：

python examples/generate.py --request cover-request.json \ --abc-file cover-score/score.abc --cot melody --output outputs/cover

Python 侧同样是一段干净的管线调用：

from pathlib import Path from yue2 import YuE2Pipeline with YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") as pipe: cover = pipe( style="English, jazz-funk, warm lead vocal, Rhodes, bass and drums", lyrics=Path("cover-lyrics.txt").read_text(encoding="utf-8"), abc=Path("cover-score/score.abc").read_text(encoding="utf-8"), cot="melody", seed=42, ) cover.save_artifacts("outputs/cover")

输出目录除了audio.flac，还会保留乐谱、语义 token、声学隐变量与本次生成的完整设置，方便复现与回看。

ComfyUI 侧的渲染链更为直观：YuE2GenerateMusic产出 CONDITIONING 与时长 →EmptyYuE2LatentAudio按秒数初始化潜空间 →ConditioningZeroOut生成负条件 →KSampler（dpm_2 / sgm_uniform / 32 步 / cfg=1）采样 →VAEDecodeAudio解码为音频 →SaveAudioAdvanced以 flac 落盘。整个 Music Cover 子图在画布上就是"加载参考歌 → 转谱 → 改 Style/歌词 → 渲染"四条线的拼接。

听评的两条独立维度

翻唱效果要分开评，因为旋律保真与风格贴合是两条正交的维度：官方评测正是分别测量 source-identity（原曲身份保持）与 target-style（目标风格贴合）。实践中建议先做"最小风格迁移"验证——保留原词、只改 Style，听旋律是否完整存活；再逐步加码改词、改速度、换乐器，观察伴奏是否跟着新风格走。想对比不同采样设置时，记得固定 seed，否则每次结果不可比。

效果边界，说清楚这四点

1. 乐谱质量决定上限，生成质量决定下限。无乐谱直出的 CLEWS mAP 只有 0.006，而转录与审校环节的任何错误都会被继承——第一步偷的懒，第三步会连本带利还回来；
2. melody-only 与 full 的取舍。官方 benchmark 与文档一致：melody-only 谱给伴奏更多自由度，风格贴合度与音乐性通常更好，是换风格场景的默认项；需要锁死和声时再上cot="full"。翻译歌词时若偏离原旋律的音节节奏，可能出现"词曲打架"；
3. 生成是"重新演绎"，不是"修音"。翻唱只继承旋律规划，不保留原波形——编辑后的乐谱会渲染出全新的演奏与编曲，不存在"局部保留原音频"的幻象；
4. 资源与合规边界。仓库内 checkpoints/yue2_3b_int8_convrot.safetensors（3.69GB，官方工作流默认）与 checkpoints/yue2_3b_bf16.safetensors（全精度版，24GB 显存友好）二选一即可跑通全流程；模型权重为 CC BY-NC 4.0 附加创作者条款——个人创作者与音乐人可免费使用并商业化生成物，但商用公司的商业使用需另行洽谈授权。翻唱他人作品时，原曲版权与词曲授权仍是绕不开的法律义务。

把"三步走"连起来看

一条干声，从 audio_encoders/sheetsage2_bf16.safetensors 转成无和弦旋律谱，经过人工审校变成可编辑的 ABC 文本，再连同风格描述与分节歌词一起交给 checkpoints/yue2_3b_int8_convrot.safetensors 渲染成 48kHz 立体声翻唱——全程零微调、零训练，唯一的"训练"发生在模型出厂之前。这套流程真正改变的不是生成质量，而是可干预性：乐谱在中间暴露成文本，人可以在任何一个环节插手，Agent 也可以在同样的接口上做对话式编曲。YuE2 用一次架构选择，把 AI 翻唱从"抽卡"变成了"工程"。