• 人工智能
• 大模型
• 基础模型
• 媒体生成
• 具身智能
• 强化学习

Cosmos3-Nano-Sim-Bimanual是 NVIDIA 推出的开源双臂机器人交互式世界模拟模型：给它一张初始图像和一段双臂动作序列，它就能生成 480p、30 FPS 的高保真模拟视频，让 VLA 策略评估、强化学习训练和免遥操作的合成演示数据生成在"纯软件世界"里完成，大幅降低真机实验成本。

🔍 它是什么：一个会"响应动作"的交互世界模型

不同于普通文生视频模型，Cosmos3-Nano-Sim-Bimanual 是一个动作条件（action-conditioned）的前向动力学模拟器：环境会"按你输入的动作演化"。它基于 Cosmos3-Nano 基座模型，经机器人操作视频 + 相机导航视频的后训练和因果蒸馏得到，16B 可训练参数、Mixture-of-Transformers（MoT）架构。

核心能力一句话概括：支持在同一动作序列里交替出现相机运动与机械臂/夹爪操作，在开环和闭环模式下都能连续模拟。

动作布局（9D 相机 + 双腕位姿 + 指尖 + 夹爪宽度）可在 action_schema.json 中查看，模型权重索引见 model.safetensors.index.json。

🎯 用途一：VLA 策略评估与验证（无需真机）

真实评估一个视觉-语言-动作（VLA）模型通常要反复跑真机，耗时且易损坏设备。用它做闭环评估的回路很简单：

1. 初始图像 + 动作输入：把场景首帧和政策模型给出的动作序列喂给世界模型；
2. 生成观测视频：模型以小潜帧块（chunk）自回归地生成后续画面，基于缓存的历史和不断输入的新动作；
3. 回喂策略：把生成帧作为视觉观测返回给 VLA 模型，让它"看着"自己动作的后果继续决策——这就是闭环（closed-loop）评估。

得益于动作条件生成的高保真度，该模型在 AgiBot-World 观测预测基准上的 PSNR 达 14.41 dB、SSIM 0.684，超过 DreamDojo 2B/14B 教师模型（详见 README.md 中的评测表格）。仓库还内置了 60 秒长程开环示例，可直接用这份清单跑通：sim_bimanual_agibot_long60_hf.jsonl。

更多推理清单与运行参数：examples/inference/README.md，包括混合相机/机器人动作路由的 sim_bimanual_mixed_action_hf.jsonl 和统一动作域的 sim_bimanual_unifiedv1_hf.jsonl。

🏋️ 用途二：强化学习（RL）训练的高效环境

RL 训练策略的最大瓶颈是环境交互成本。把 Cosmos3-Nano-Sim-Bimanual 当作可交互模拟环境，策略每次输出动作都能立刻"看到"画面后果，形成密集的仿真交互循环：

• 免真机损耗：夹爪抓取、双臂协作等高风险动作可以无限次试错；
• 高吞吐交互：单卡推理可达 30+ 帧/秒，接近实时交互节奏；
• 支持相机视角切换：训练时混合导航动作，可提升策略对视角变化的鲁棒性；
• 可适配新本体：官方说明支持在用户自有数据上继续后训练，把模拟器适配到不同的机器人本体与臂构型。

模型以forward_dynamics（前向动力学）模式提供服务，输入当前观测 + 动作，输出下一段观测，天然契合 RL 环境接口。

🎬 用途三：免遥操作合成演示数据

遥操作（人握着动捕/外骨骼示教）是高质量机器人数据最昂贵的来源。该模型的亮点正是：控制输入可以由策略模型直接供给，无需人工遥操作即可批量生成演示数据。

工作流程：

1. 准备初始图像（支持 JPG/PNG/WebP）与文本场景描述（可选）；
2. 让 VLA 模型或世界-动作模型（world-action model）持续输出 59 维归一化动作；
3. 世界模型逐块生成视频，同时把新帧回传作为策略的观测；
4. 输出的 MP4 视频与动作序列天然对齐，可直接作为演示/微调语料。

仓库提供了完整的训练数据集成样例与校验清单，包括 3 组初始图像、动作旁车和 901 帧 GT 视频，以及可被原生 dataloader 消费的原始记录包，配合 SHA256SUMS 校验完整性：

• 训练样例说明：examples/training/README.md
• 配对清单：sim_bimanual_agibot_examples.jsonl

🚀 快速上手：一条命令起服务

在装有 NVIDIA GPU（如 GB200/H100）和 Docker 的 Linux 主机上，用 vLLM-Omni 拉起服务即可（固定四步采样器）：

docker run --runtime nvidia --gpus all --ipc=host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p 127.0.0.1:8000:8000 \ vllm/vllm-omni:cosmos3 \ vllm serve nvidia/Cosmos3-Nano-Sim-Bimanual \ --omni --model-class-name Cosmos3NanoSimBimanualPipeline \ --deploy-config /app/vllm-omni/vllm_omni/deploy/cosmos3_nano_sim_bimanual_windowed.yaml \ --no-guardrails --host 0.0.0.0 --port 8000

之后向/v1/videos/sync接口提交初始图像 + 动作 JSON 即可同步拿回 MP4。一个现成的混合动作示例动作文件是 agibot_mixed_028_normalized_mixed_action.json（900 步、59 维，对应 901 帧输出）。完整客户端流程见 README.md 的 Quick Start 章节。

📦 仓库关键资料索引

💡 小结：如果你需要一个免真机、可闭环、能批量造数据的双臂操作世界模拟器，Cosmos3-Nano-Sim-Bimanual 用"动作进、视频出"的交互生成能力，把 VLA 策略评估、RL 训练和免遥操作演示数据生成这三件最烧钱的事统一到一个模型里，是目前 Physical AI 工具链中非常值得上手的一块"基础设施"。

• 人工智能
• 大模型
• 基础模型
• 媒体生成
• 具身智能
• 强化学习