• 人工智能
• 大模型
• 具身智能
• 机器人

世界动作模型（World Action Model，简称 WAM）是一类既能"脑内推演"未来画面、又能直接输出机器人动作的新兴模型架构。EasyWAM-Hidden-Wan22 正是一组基于视频扩散模型 Wan2.2-TI2V-5B 训练的 WAM 检查点（模型权重），在 LIBERO 机器人操作基准上全参数平均成功率高达 98.8%。这篇新手教程会用通俗的语言讲清楚 WAM 是什么、Hidden 架构如何运作，以及如何下载检查点并运行评测。

一、什么是世界动作模型（WAM）？

先从一个类比说起：人类在伸手拿杯子之前，大脑会先"想象"杯子被抓起后的样子；而传统机器人策略模型往往只做一件事——看到图像，直接输出动作，中间没有"想象"环节。

世界动作模型则把这两步合二为一：

• 世界模型部分：根据当前画面预测未来会发生什么（即"想象"接下来的视频）
• 动作输出部分：在"想象"的过程中，同步输出机器人该做的动作序列

这样模型就有了" foresight（预知）"能力，动作规划更稳健。而实现"预测未来画面"的最佳底座，正是视频扩散模型——像 Sora、Wan 系列这类能生成逼真视频的技术。

EasyWAM-Hidden-Wan22 选用的底座是Wan2.2-TI2V-5B（50 亿参数的文生视频/图生视频扩散模型），让机器人模型"看懂"物理世界如何演化，再据此驱动机械臂。

二、EasyWAM-Hidden-Wan22 是什么？📦

这个仓库是一个检查点发布仓库：存放训练好的模型权重，由 EasyWAM 代码库训练产出，主要面向 LIBERO 机器人基准场景。

💡两个版本怎么选？追求极限性能选全参数版；显卡预算有限或想快速复现，选 LoRA 版——它只在视频主干上训练了低秩适配层，体积缩小到约 1/4.5。

三、核心原理：视频扩散模型如何控制机器人？🤖

"Hidden" 是这个架构的精髓，一句话概括：动作网络不看原始像素，只读取视频网络内部的"隐藏特征"。整个推理流程如下：

机器人状态（8 维，以 sequence 方式插入） + 当前图像 │ ▼ Video DiT（Wan2.2 视频扩散主干） ── 预测未来视频帧 ──▶ 隐藏视觉条件（hidden visual conditioning） │ 中间特征（单向传递，不反向影响视频网络） ▼ Action DiT（独立动作网络） │ ▼ 输出 32 步动作序列（每步 7 维：6 维末端位移 + 1 维夹爪开合）

理解这张图，只需要记住三点：

1. 视频预测是"副产品"也是"发动机"：推理时模型保留对未来视频的预测，这份"想象中的画面"反过来成为动作决策的视觉条件——这就是 hidden（隐藏）条件
2. 单向条件：Action DiT 只读取 Video DiT 的中间特征，不会干扰视频生成，两部分各司其职
3. 动作块（action chunk）机制：模型一次输出未来 32 步动作（7 维/步，对应 6 自由度末端增量 + 夹爪），执行一段后再重新规划，兼顾流畅性与纠错能力

这种设计的好处：视频扩散模型天然具备强大的物理世界先验（物体运动、遮挡、接触），动作网络"搭便车"获得这些先验，而不需要从零学习。

四、LIBERO 基准成绩一览🏆

LIBERO 是机器人操作领域的常用模拟基准，包含 Spatial（空间关系）、Object（物体操作）、Goal（目标导向）、LIBERO-10 四个套件。默认评测协议下，每个任务运行 50 次试验，成功率（%）越高越好：

全参数检查点（Full-Parameter）

LoRA 检查点（Rank 128）

另外，更严格的LIBERO-Plus基准会引入背景、相机位姿、语言指令、布局、光照、噪声、机器人外观等 8 类扰动来测试泛化能力。EasyWAM-Hidden 在其中平均 77.6%，且在 Camera（57.0）、Layout（84.3）、Robot（83.7）三个维度上排名同组第一。完整数据见 README.md。

五、新手上手：下载检查点并运行评测🚀

⚠️前置条件：本仓库只含权重，训练与推理代码在 EasyWAM 代码库中，需先安装 EasyWAM 并准备好 Wan2.2-TI2V-5B 骨干权重。特别注意：LoRA 检查点不包含完整 Wan2.2 骨干，使用前必须先下载骨干权重并配置路径，且需使用对应的_lora任务配方加载。

第 1 步：下载检查点

hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \ libero_hidden_wan22.pt \ libero_hidden_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints

第 2 步：运行 LIBERO 评测

# 全参数检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_hidden_wan22 \ ckpt=./checkpoints/libero_hidden_wan22.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_hidden_wan22_lora \ ckpt=./checkpoints/libero_hidden_wan22_lora_128.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

默认协议会对四个 LIBERO 套件各任务跑 50 次试验。多卡环境可追加MULTIRUN.num_gpus=<gpu-count>参数将评测分配到多张 GPU 上并行运行。

六、常见问题 FAQ ❓

Q1：世界动作模型和普通"看图出动作"的策略模型有什么区别？策略模型是"输入→输出"的直连映射；WAM 在输出动作前会先预测未来视频，让动作决策建立在对世界演化的"想象"之上，这正是 WAM 在长时序任务和泛化性上占优的原因。

Q2：为什么叫 "Hidden"？因为 Action DiT 的条件输入是 Video DiT 内部中间层特征（隐藏表示），而不是原始像素或最终生成的视频帧，两者之间是单向条件关系。

Q3：state_position: sequence是什么意思？指机器人状态 token 的放置方式——状态向量（8 维）以序列 token 的形式插入模型输入序列中，供动作网络感知本体状态。

Q4：这个仓库能直接训练吗？不能，本仓库是纯权重仓库（.pt格式的 EasyWAM PyTorch 检查点）。训练、加载骨干等完整流程请遵循 EasyWAM 代码库的官方指南。

Q5：许可协议是什么？EasyWAM 代码为 MIT 许可；本仓库发布的检查点为CC BY-NC 4.0（非商用），并受其基础模型与训练数据条款约束。研究引用请参考 README.md 中的 BibTeX 条目。

写在最后

EasyWAM-Hidden-Wan22 展示了视频扩散模型进军机器人控制的一条清晰路径：用"想象未来"来指导"当下动作"。如果你正在入门世界动作模型方向，从 LoRA 检查点开始复现，是成本最低、收益最快的第一步。

• 人工智能
• 大模型
• 具身智能
• 机器人