25年6月来自阿里达摩实验室、湖畔实验室和浙大的论文“WorldVLA: Towards Autoregressive Action World Model”。
WorldVLA，一个自回归动作世界模型，它将动作和图像的理解与生成统一起来。WorldVLA 将视觉-语言-动作 (VLA) 模型和世界模型集成在一个框架中。世界模型利用动作和图像理解来预测未来图像，旨在学习环境的底层物理特性，从而改进动作生成。同时，动作模型会根据图像观测生成后续动作，从而辅助视觉理解，进而促进世界模型的视觉生成。WorldVLA 的表现优于单独的动作模型和世界模型，凸显世界模型和动作模型之间的相互增强。此外，当以自回归方式生成动作序列时，动作模型的性能会下降。这种现象可以归因于该模型有限的动作预测泛化能力，导致错误从早期动作传播到后续动作。为了解决这个问题，提出一种注意掩吗策略，该策略在生成当前动作时有选择地掩盖先前的动作，这在动作块生成任务中显示出显着的性能提升。
如图所示：（a）动作模型根据图像理解生成动作；（b）世界模型根据图像和动作理解生成图像；（c）动作世界模型统一了图像和动作的理解和生成。
问题表述
本研究致力于学习一个能够同时进行动作预测和世界状态预测的统一模型。具体来说，定义两个主要组件：动作模型（或策略模型）π_θ 和世界模型 f_φ。动作模型 π_θ 负责根据图像观测历史 {o_t−h, o_t−h+1, …, o_t} 和语言指令 l 生成动作 a_t，该动作 a_t 可以正式表示为：
a_t = π_θ(a_t | o_t−h:t, l)
同时，世界模型 f_φ 根据历史观测序列 {o_t−h, o_t−h+1, …, o_t−1} 和相应的动作序列 {a_t−h, a_t−h+1, …, a_t−1}预测下一帧 o_t。这种关系公式化为：
o_t = f_φ(o_t | o_t−h:t−1, a_t−h:t−1)
目标是开发一个集成的动作-世界模型 M_ψ，将这两个功能统一起来。该模型 M_ψ 应该既能够作为策略模型预测动作，又能够作为世界模型预测未来状态。统一模型 M_ψ 的正式定义为：
其中 Mpolicy_ψ 表示动作生成组件，Mworld_ψ 表示世界状态预测组件。通过学习这样一个统一的模型，目标是实现一个紧凑高效的框架，利用共享表示进行决策和环境建模。
架构
自回归动作世界模型的整体架构如图所示。WorldVLA集成两个截然不同但互补的功能组件：动作模型和世界模型。动作模型负责生成基于文本和视觉数据的动作。世界模型则利用文本信息、当前图像和当前动作来预测后续环境状态（例如，下一帧视觉）。
由于Chameleon（Team，2024）是一个统一的图像理解和生成模型，借鉴其进行初始化。模型包含三个 token 化器，包括图像 token 化器、文本 token 化器和动作 token 化器。图像 token 化器是一个VQ-GAN模型（Esser et al.，2021），并对特定图像区域（例如人脸和显著物体）附加感知损失（Gafni et al.，2022）。图像 token 化器的压缩率为16，码本大小为8192。图像 token 化器为256×256图像生成256个 tokens，为512×512图像生成1024个 tokens。动作 token 化器将机器人连续动作的每个维度离散化到 256 个 bins 中，bin 宽度由训练数据的范围决定（Kim，2024；Brohan，2023）。动作表示为 7 个 tokens，包括 3 个相对位置、3 个相对角度和 1 个绝对夹持状态。文本 token 化器是一个经过训练的 BPE token 化器（Sennrich，2015），词汇量为 65,536，其中包含 8192 个图像 tokens 和 256 个动作 tokens。所有文本、动作和图像均被离散化为 tokens，并以自回归方式进行训练。
训练策略
将动作模型数据和世界模型数据相结合来训练 WorldVLA。融入世界模型数据以增强动作生成有三个主要原因。首先，世界模型通过学习根据当前状态和应用的动作预测未来观察结果，从而获得对环境物理的理解。这种学习的环境物理表征有助于完成操控任务。其次，世界模型使系统能够模拟和评估候选动作的潜在结果，从而有助于避免可能导致不利状态的动作。第三，世界模型需要对动作输入进行精确的解读，这反过来又支持动作模型生成更有效、更符合上下文的动作。另一方面，动作模型增强视觉理解，进而支持世界模型的视觉生成能力。
动作模型数据。动作模型是根据文本指令和图像观察结果生成动作。文本输入为“机器人应该采取什么动作来 + 任务指令 + ？”。整体 token 序列为：
其中 {text}、{image} 和 {action} 分别表示离散的文本、图像和动作 token。[BOS]、[EOS]、[BOI]、[EOI]、[BOA]、[EOA] 分别表示句子开头、句子结尾、图像开头、图像 token 结尾、动作开头和动作 token 结尾。输入包含 M 个图像，输出包含 K 个动作。仅计算动作 token 的损失 L_action。
世界模型数据。世界模型的任务是根据当前的图像观察结果和动作生成下一帧图像。它不需要任务指令，因为动作本身完全可以决定下一个状态。文本输入为“根据当前图像和动作生成下一帧”。整体 token 序列如下：
基于动作的下一帧预测重复 N 次，仅计算生成的图像 token 的损失 L_world。
注意掩码。自回归模型中的标准注意机制通常采用因果注意掩码，它限制当前 token 只能访问来自前一个 token 的信息，而不能访问任何后续 token，如图 (a) 所示。然而，这种传统配置不足以生成动作块，即多个连续动作。虽然基础的 MLLM 由于在不同数据集上进行大规模预训练而展现出跨图像和文本域的强大泛化能力，但其在动作域有效泛化的能力相对有限。因此，在默认注意掩码下，源自先前动作的错误会传播到后续动作，导致性能下降。为了解决这一限制，引入一种专为动作生成量身定制的替代注意掩码，如图 (b) 所示。此修改后的掩码确保当前动作仅依赖于文本和视觉输入，同时禁止访问先前的动作。这样的设计使自回归框架能够并行生成多个动作，这与 (Kim et al., 2025; Black et al., 2024) 中提出的方法一致。世界模型部分遵循传统的因果注意掩码，如图 © 所示。
训练目标：将动作模型数据和世界模型数据混合在一起，使自回归动作世界模型既可以表现为动作模型，也可以表现为世界模型。
在实验中使用 LIBERO 基准测试集 (Liu et al., 2023a)。LIBERO 基准测试集包含 LIBERO-Spatial、LIBERO-Object、LIBERO-Goal、LIBERO-Long 和 LIBERO-90。LIBERO-Spatial 侧重于空间关系，要求机器人根据碗的位置放置碗。LIBERO-Object 侧重于物体识别，要求机器人拾取并放置独特的物体。LIBERO-Goal 通过使用固定物体改变任务目标来测试程序性学习。LIBERO-Long 包含 10 个长时域任务。LIBERO-90 提供 90 个短时域任务用于预训练。
数据集。首先过滤掉不成功的记录轨迹和无操作动作，例如 OpenVLA (Kim et al., 2024)。考虑到世界模型评估需要与真值配对的视频和动作数据，将 90% 的轨迹作为训练集，剩余 10% 的轨迹作为验证集。训练集默认用于模型训练，在训练过程中使用了所有可用数据以确保公平比较。
基线。动作模型分为连续动作模型和离散动作模型。连续动作模型并行生成多个动作，并使用 l1 回归损失进行训练。基于扩散的动作模型，如扩散策略 (Chi et al., 2023)、Octo (Team et al., 2024)、DiT 策略 (Hou et al., 2024) 和 UVA (Li et al., 2025)，都使用扩散过程来生成动作。 Seer (Tian et al., 2024) 和 OpenVLA-OFT (Kim et al., 2025) 使用动作头直接一次性输出多个动作。像 OpenVLA (Kim et al., 2024) 这样的离散动作模型将动作视为与文本类似的标记，并以自回归方式生成动作。离散模型天生性能较差，因为动作的token化过程可能会导致信息丢失。
训练设置。动作模型使用默认输入图像数 M = 2。在默认配置下，LIBERO Long 任务的动作块大小设置为 K = 10，其余三个 LIBERO 任务的动作块大小设置为 K = 5。为了最小化计算开销，世界模型只运行一轮，N = 1。在实验设置中，参数 α 固定为 0.04。