ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

新手入门 EasyWAM-Unified-Wan22:环境安装与 Wan2.2 骨干权重配置避坑指南

新手入门 EasyWAM-Unified-Wan22:环境安装与 Wan2.2 骨干权重配置避坑指南

新手入门 EasyWAM-Unified-Wan22:环境安装与 Wan2.2 骨干权重配置避坑指南

【免费下载链接】EasyWAM-Unified-Wan22项目地址: https://ai.gitcode.com/OpenMOSS/EasyWAM-Unified-Wan22

EasyWAM-Unified-Wan22 是基于 Wan2.2-TI2V-5B 骨干训练的 World Action Model(世界-动作模型)开源检查点仓库。本文将带你完成环境安装、检查点下载与 Wan2.2 骨干权重配置的全流程,并列出新手最容易踩中的 3 个坑,帮助你一次跑通 LIBERO 评估。

一、项目是什么?5 分钟了解 EasyWAM-Unified-Wan22

🤖一句话介绍:EasyWAM-Unified 使用单个 Video DiT同时表示并去噪"视频 token"与"动作 token",两种模态通过同一组自注意力层双向耦合,实现了"视觉想象 + 动作生成"的统一建模。

本仓库发布的是在LIBERO 机器人操作基准上训练的官方检查点,核心能力一览:

检查点说明文件
全参数版完整训练权重,LIBERO 四套件平均成功率98.6%libero_unified_wan22.pt
LoRA 版(Rank 128 / Alpha 128)仅微调骨干目标模块 + 其他可训练模块libero_unified_wan22_lora_128.pt
归一化统计LIBERO 数据集 state/action 统计量,评估必带libero_dataset_stats.json

💡 其他可训练 EasyWAM 模块与 LoRA 权重存放在同一个检查点文件中,加载时必须使用匹配的_lora任务配方(后文详述)。

完整指标与对比数据可参考项目说明文档 README.md。

二、环境安装步骤:从零到可运行

1. 确认硬件与软件前提

  • GPU:显存建议 24GB 起步(5B 骨干推理/评估)
  • Python:3.10 及以上
  • 依赖:EasyWAM 代码库、Wan2.2-TI2V-5B 相关依赖、LIBERO 仿真器

2. 准备 EasyWAM 代码库

本仓库只发布检查点,训练与评估代码来自 EasyWAM 代码库(训练框架同源)。请先安装 EasyWAM,再按其文档准备 Wan2.2-TI2V-5B 的依赖环境:

  1. 克隆 EasyWAM 代码库并安装依赖
  2. 按 EasyWAM 官方Wan2.2 骨干配置指南(docs/instructions/backbone/wan22.md)准备 Wan2.2-TI2V-5B 骨干权重
  3. 按 EasyWAM 官方LIBERO 评估指南(docs/instructions/benchmark/libero.md)搭建 LIBERO 仿真环境

3. 下载本仓库的三个文件

hf download OpenMOSS-Team/EasyWAM-Unified-Wan22 \ libero_unified_wan22.pt \ libero_unified_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints

⚠️避坑提示:libero_dataset_stats.json是归一化统计文件,评估时必须通过EVALUATION.dataset_stats_path显式传入,漏传会导致动作数值尺度错乱、成功率异常偏低。

三、核心避坑点:Wan2.2 骨干权重配置

坑 1:LoRA 检查点不包含完整骨干权重 🔴

这是新手踩坑率最高的一点。README 中有明确警告:

LoRA 检查点不包含完整的 Wan2.2 骨干。在加载或评估之前,必须先下载所需的骨干权重并配置其路径。

正确姿势分两步:

  1. 按 EasyWAM 的 Wan2.2 骨干指南下载Wan2.2-TI2V-5B 基础权重
  2. 在任务配置中将骨干权重路径指向本地目录,再加载 LoRA 检查点

坑 2:LoRA 检查点必须搭配_lora任务配方 🟡

LoRA 版本(rank 128 / alpha 128)与其他可训练模块打包在同一个.pt文件里,因此必须使用匹配的libero_easywam_unified_wan22_lora任务配方加载;用全参数配方加载 LoRA 文件(或反之)会导致权重加载失败或静默错配。

坑 3:state_position 固定为sequence🟢

本仓库检查点的 state token 放置方式为sequence,LIBERO 评估协议统一采用该设置。复现指标时无需(也不应)改动此项。

四、跑通评估:两条命令搞定

# 全参数检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22 \ ckpt=./checkpoints/libero_unified_wan22.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22_lora \ ckpt=./checkpoints/libero_unified_wan22_lora_128.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

默认协议会对全部四个 LIBERO 套件、每任务 50 次试验进行评估。多卡机器可追加MULTIRUN.num_gpus=<gpu数量>将评估分发到多张 GPU,显著缩短总时长。

五、常见问题速查表

现象可能原因解决办法
加载 LoRA 检查点报缺失骨干权重未下载/未配置 Wan2.2-TI2V-5B 骨干按骨干指南下载权重并配置路径
权重加载错配、任务行为异常LoRA 文件用了非_lora配方改用libero_easywam_unified_wan22_lora
动作幅度异常、成功率骤降漏传归一化统计传入libero_dataset_stats.json
评估速度慢单卡串行追加MULTIRUN.num_gpus多卡分发

六、参考性能(LIBERO 官方协议)

  • 全参数版:Spatial 98.4 / Object 98.8 / Goal 99.2 / LIBERO-10 98.0,平均 98.6%,与同骨干最优方案持平
  • LoRA 版(Rank 128):Object 98.8 表现亮眼,LIBERO-10 66.2,平均 87.0%——LoRA 在长时程组合任务上仍有差距,选型时请结合场景权衡

七、写在最后

新手跑通 EasyWAM-Unified-Wan22 的记忆口诀就三句话:

  1. 代码在 EasyWAM,权重在本仓库
  2. LoRA 评估前,先装 Wan2.2 骨干
  3. 统计文件要显式传

搞定这三点,你的 LIBERO 评估流水线就基本不会出岔子了。更多细节(许可证 CC BY-NC 4.0、引用格式等)请查阅 README.md。

Happy hacking! 🚀

【免费下载链接】EasyWAM-Unified-Wan22项目地址: https://ai.gitcode.com/OpenMOSS/EasyWAM-Unified-Wan22

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

返回列表