新手入门 EasyWAM-Unified-Wan22:环境安装与 Wan2.2 骨干权重配置避坑指南
【免费下载链接】EasyWAM-Unified-Wan22项目地址: https://ai.gitcode.com/OpenMOSS/EasyWAM-Unified-Wan22
EasyWAM-Unified-Wan22 是基于 Wan2.2-TI2V-5B 骨干训练的 World Action Model(世界-动作模型)开源检查点仓库。本文将带你完成环境安装、检查点下载与 Wan2.2 骨干权重配置的全流程,并列出新手最容易踩中的 3 个坑,帮助你一次跑通 LIBERO 评估。
一、项目是什么?5 分钟了解 EasyWAM-Unified-Wan22
🤖一句话介绍:EasyWAM-Unified 使用单个 Video DiT同时表示并去噪"视频 token"与"动作 token",两种模态通过同一组自注意力层双向耦合,实现了"视觉想象 + 动作生成"的统一建模。
本仓库发布的是在LIBERO 机器人操作基准上训练的官方检查点,核心能力一览:
| 检查点 | 说明 | 文件 |
|---|---|---|
| 全参数版 | 完整训练权重,LIBERO 四套件平均成功率98.6% | libero_unified_wan22.pt |
| LoRA 版(Rank 128 / Alpha 128) | 仅微调骨干目标模块 + 其他可训练模块 | libero_unified_wan22_lora_128.pt |
| 归一化统计 | LIBERO 数据集 state/action 统计量,评估必带 | libero_dataset_stats.json |
💡 其他可训练 EasyWAM 模块与 LoRA 权重存放在同一个检查点文件中,加载时必须使用匹配的
_lora任务配方(后文详述)。
完整指标与对比数据可参考项目说明文档 README.md。
二、环境安装步骤:从零到可运行
1. 确认硬件与软件前提
- GPU:显存建议 24GB 起步(5B 骨干推理/评估)
- Python:3.10 及以上
- 依赖:EasyWAM 代码库、Wan2.2-TI2V-5B 相关依赖、LIBERO 仿真器
2. 准备 EasyWAM 代码库
本仓库只发布检查点,训练与评估代码来自 EasyWAM 代码库(训练框架同源)。请先安装 EasyWAM,再按其文档准备 Wan2.2-TI2V-5B 的依赖环境:
- 克隆 EasyWAM 代码库并安装依赖
- 按 EasyWAM 官方Wan2.2 骨干配置指南(
docs/instructions/backbone/wan22.md)准备 Wan2.2-TI2V-5B 骨干权重 - 按 EasyWAM 官方LIBERO 评估指南(
docs/instructions/benchmark/libero.md)搭建 LIBERO 仿真环境
3. 下载本仓库的三个文件
hf download OpenMOSS-Team/EasyWAM-Unified-Wan22 \ libero_unified_wan22.pt \ libero_unified_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints⚠️避坑提示:
libero_dataset_stats.json是归一化统计文件,评估时必须通过EVALUATION.dataset_stats_path显式传入,漏传会导致动作数值尺度错乱、成功率异常偏低。
三、核心避坑点:Wan2.2 骨干权重配置
坑 1:LoRA 检查点不包含完整骨干权重 🔴
这是新手踩坑率最高的一点。README 中有明确警告:
LoRA 检查点不包含完整的 Wan2.2 骨干。在加载或评估之前,必须先下载所需的骨干权重并配置其路径。
正确姿势分两步:
- 按 EasyWAM 的 Wan2.2 骨干指南下载Wan2.2-TI2V-5B 基础权重
- 在任务配置中将骨干权重路径指向本地目录,再加载 LoRA 检查点
坑 2:LoRA 检查点必须搭配_lora任务配方 🟡
LoRA 版本(rank 128 / alpha 128)与其他可训练模块打包在同一个.pt文件里,因此必须使用匹配的libero_easywam_unified_wan22_lora任务配方加载;用全参数配方加载 LoRA 文件(或反之)会导致权重加载失败或静默错配。
坑 3:state_position 固定为sequence🟢
本仓库检查点的 state token 放置方式为sequence,LIBERO 评估协议统一采用该设置。复现指标时无需(也不应)改动此项。
四、跑通评估:两条命令搞定
# 全参数检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22 \ ckpt=./checkpoints/libero_unified_wan22.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22_lora \ ckpt=./checkpoints/libero_unified_wan22_lora_128.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json默认协议会对全部四个 LIBERO 套件、每任务 50 次试验进行评估。多卡机器可追加MULTIRUN.num_gpus=<gpu数量>将评估分发到多张 GPU,显著缩短总时长。
五、常见问题速查表
| 现象 | 可能原因 | 解决办法 |
|---|---|---|
| 加载 LoRA 检查点报缺失骨干权重 | 未下载/未配置 Wan2.2-TI2V-5B 骨干 | 按骨干指南下载权重并配置路径 |
| 权重加载错配、任务行为异常 | LoRA 文件用了非_lora配方 | 改用libero_easywam_unified_wan22_lora |
| 动作幅度异常、成功率骤降 | 漏传归一化统计 | 传入libero_dataset_stats.json |
| 评估速度慢 | 单卡串行 | 追加MULTIRUN.num_gpus多卡分发 |
六、参考性能(LIBERO 官方协议)
- 全参数版:Spatial 98.4 / Object 98.8 / Goal 99.2 / LIBERO-10 98.0,平均 98.6%,与同骨干最优方案持平
- LoRA 版(Rank 128):Object 98.8 表现亮眼,LIBERO-10 66.2,平均 87.0%——LoRA 在长时程组合任务上仍有差距,选型时请结合场景权衡
七、写在最后
新手跑通 EasyWAM-Unified-Wan22 的记忆口诀就三句话:
- 代码在 EasyWAM,权重在本仓库
- LoRA 评估前,先装 Wan2.2 骨干
- 统计文件要显式传
搞定这三点,你的 LIBERO 评估流水线就基本不会出岔子了。更多细节(许可证 CC BY-NC 4.0、引用格式等)请查阅 README.md。
Happy hacking! 🚀
【免费下载链接】EasyWAM-Unified-Wan22项目地址: https://ai.gitcode.com/OpenMOSS/EasyWAM-Unified-Wan22
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考