从扩散模型到GNM与NoMaD：一条具身视觉导航路线的落地复盘

我大概在一年多前开始认真跟这条技术线，起因是手上的机器人平台总在“认路”这件事上翻车：换了光照环境、换了楼层，之前的视觉导航方案就失效，要么靠预建地图，要么靠一堆手工特征凑合。后来一路从扩散模型（Diffusion Models）摸到GNM（Goal-conditioned Navigation Model），再踩到NoMaD（No Metric Map Navigation with Diffusion），算是把“机器人到底该怎么在大场景里无地图导航”这件事重新想明白了。这篇文章算是一份阶段性复盘，聊聊这三个东西分别解决什么问题、怎么衔接、以及在复现和部署时我踩过的坑。如果你也在做移动机器人导航、具身智能相关的工作，或者正被“视觉导航不泛化”卡住，这篇应该能帮你省掉不少弯路。

先解释一下标题里的三个词。扩散模型这两年大家听得多了：给它一堆噪声，它学着反向去噪，反复迭代之后能生成图像、规划轨迹、甚至生成机器人动作序列。GNM是一个目标条件导航模型，核心思路很直接——你给它一张当前视角的图像和一个目标图像，它输出机器人应该怎么走；它最大的卖点是在多环境下采集的海量数据上训练，具备跨域泛化能力。NoMaD则是在GNM框架之上引入扩散策略，名字本身就是No Metric Map（不要度量地图）的意思，它试图让机器人在从未见过的环境里，只靠图像输入就能朝目标走，同时还能避开障碍物。三者串起来，正好是一条从“生成模型怎么用”到“导航策略怎么做”再到“无地图导航怎么落地”的完整链路。

这条技术线适合谁参考？我的判断是三类人：第一类是准备入局具身智能和端到端导航的算法工程师，第二类是被传统SLAM和路径规划折腾够了的机器人开发者，第三类是研究视觉语言模型与机器人交叉方向的在读学生。看完你不会拿到一个能立刻上车的成品代码，但会搞清楚一套值得复现的架构，以及它的边界在哪里。

1. 把三个名词的关系先理清

1.1 扩散模型为什么会被导航看上

先聊聊扩散模型在机器人领域为什么突然吃香。传统行为克隆（Behavior Cloning）直接学“状态到动作”的映射，但多峰分布处理得很差：同一个画面下，机器人左转和右转都能绕开障碍，标准监督学习会把两个动作平均成“直行”，结果撞上去。扩散模型天生擅长表达多峰分布，因为它本质是在学习一个概率分布，采样的时候每次都能取出一个合理的动作，而不是追求唯一解。

放在导航场景里，这个性质太重要了。机器人在走廊岔路口看到目标图像，可能有两条路都能到，传统模型会纠结，扩散策略能自然地“选一条走”。我在做模拟环境测试时对比过，同一个交叉路口，用扩散策略做动作生成的导航成功率比用确定性策略高出不少，而且轨迹更自然，不会出现那种“贴在墙边犹豫”的机器人行为。扩散模型给的不是一个答案，是一撮答案，机器人每次从中抽一个，天然具备随机探索性。

但纯扩散模型单独撑不起导航任务，原因有三点：第一，它通常只在单任务、单环境上训练，换个场景就失效，没有跨域泛化的概念；第二，它缺少条件机制，你告诉它“去厨房”它不知道怎么把这个语义目标转化成视觉目标，除非你把目标也编码成条件；第三，扩散模型的推理速度不慢但也不算快，迭代去噪几轮在低算力机器人平台上会拖后腿。这些短板单靠扩散模型自己是补不齐的，于是GNM这类结构化的导航模型成了衔接的桥梁。

1.2 GNM补上了什么关键短板

GNM的全称是Goal-conditioned Navigation Model，但我不建议只看字面意思。它的核心贡献不是“目标条件”这四个字，而是它把“跨环境泛化”这件事工程化落地了。它的训练数据来自多个不同场景的机器人轨迹数据，包括室内走廊、户外园区、教学楼楼层，数据的形态统一成“当前图像+目标图像+动作序列”三元组。

我理解GNM的设计哲学是这样的：它不建地图，不标点云，不做位姿图，而是直接把“视觉观察”映射成“运动决策”。网络结构上，它用编码器把当前观测和目标观测编码成向量，再用一个循环结构或Transformer处理历史信息，最后输出机器人本体坐标系下的线速度和角速度。训练时用一个简单的距离损失，让模型预测的航向和速度逼近真实轨迹。它的泛化来自数据，而不是来自手工特征——只要训练数据覆盖足够多环境，模型就能在未见过的环境里凭视觉相似性做出正确决策。

GNM最让我欣赏的一点是它对目标表示的处理：目标就是一张图。这意味着你不需要给机器人精确的坐标，只需要告诉它“目标长这样”。这在日常场景里非常实用：比如你想让机器人去某个工位，拍一张那张工位的照片扔给它就行，不用测距，不用建图。但GNM有一个明显的局限——它不太擅长避障。严格来说它也能避，因为训练数据里包含了人类遥控绕障的轨迹，但它没有显式的障碍物建模，面对动态障碍物或突发的遮挡，反应会慢半拍。

1.3 NoMaD是那条十字路口的答案

NoMaD就是冲着GNM的避障短板去的。它把整套架构分成两个模块：一个“探索/导航策略”模块负责决定往哪走，是扩散模型实现的；另一个“距离预测模块”负责实时估计到这个目标还有多远，用来给策略提供密集的反馈信号。两个模块共享一个视觉编码器，各带各的条件头。

我理解NoMaD的命名逻辑：No Metric Map，它真的不需要度量地图，不要占用栅格，不要深度图，不要激光雷达。它的避障能力来自于扩散策略生成的动作本身——训练数据里包含大量人类绕障的演示，扩散模型把这些避障动作的分布学进去了。到了新环境里，它靠视觉输入生成动作，动作质量取决于训练数据对环境纹理的覆盖程度。也就是说，NoMaD不是显式“识别障碍物然后绕开”，而是“看到这种画面就往那边走”。

从工程角度看，NoMaD是一个比GNM更完整的系统：GNM解决了“目标条件导航”这个问题本身，NoMaD在这个基础上加上了动态避障和探索能力。如果非要用一句话区分：GNM告诉你“怎么到目标”，NoMaD告诉你“在没有人给你指路、路上还有东西挡着的情况下，怎么到目标”。

2. 从Diffusion到GNM：这段路我是怎么走的

2.1 为什么要补目标条件导航能力

我最早尝试直接用扩散模型做导航策略时，思路非常朴素：把当前图像、目标图像、速度历史拼在一起作为条件，用一个UNet结构的扩散模型来输出动作。训练起来确实能跑，模型在单个场景里也能走，但问题很快就暴露了：换一个环境，性能断崖式下跌。

原因后来想明白了。扩散模型擅长的是拟合特定分布，而“导航”这件事的分布太宽了——墙壁的颜色变了、地板的纹理变了、光照角度变了，视觉特征分布就漂移。如果训练数据只来自一个环境，模型的泛化边界非常有限。这不是扩散模型的错，是所有端到端方法共同面对的“数据覆盖度”问题。GNM给我的启发是：与其花大力气改进网络结构，不如先解决数据问题。它用跨环境的大规模轨迹数据训练，让模型学到的是“看到走廊尽头就往那边拐”这样的跨环境共性，而不是“看到白色墙壁就往左转”这种环境特异性特征。

所以我的第一条建议是：如果你想在这条技术线上做点成果，控制变量不如控制数据。数据的跨域性比模型复杂度更重要，GNM用结果证明了这件事。

2.2 稳定训练扩散策略的动作生成头

扩散策略的训练有不少细节直接决定成败。我用的是DDPM（Denoising Diffusion Probabilistic Models）的思路，在前向过程里对动作序列逐步加噪，让模型学习反向去噪。这里有几个关键选择可以分享：

第一个是预测目标。你可以让模型直接预测去噪后的动作，也可以让它预测噪声。业界在图像生成里普遍用“预测噪声”的做法，但在动作生成场景里，我测下来直接预测动作更稳。原因在于动作空间的维度低（通常就2到4维），信噪比高，预测噪声反而容易引入额外误差。

第二个是去噪步数。训练时可以设100步甚至1000步，但推理时不能照搬——机器人控制需要实时性。我的做法是训练时步数设100，推理时只用5步，效果损失很小。这是因为动作空间维度低、分布结构简单，少数几步去噪已经足够逼近真实样本。这也是NoMaD在部署时能跑得动的原因之一：低维动作空间让扩散推理可以大幅裁剪。

第三个是条件信息的融合方式。图像编码向量、目标图像编码向量、速度历史、时间步长t，这些信息要进入UNet的不同层。我踩过的坑是：把目标图像和当前图像在通道维度直接拼接输入，效果很差；改成分别编码再在中间层拼接，效果好得多。原因可能是两个图像各自的语义特征需要先在独立空间里充分提取，过早拼接让网络学不到有效的对比关系。

2.3 这套方案比传统导航结构强在哪里

拿传统方案做对比会更直观。经典导航管线是：建图（SLAM）→ 定位（AMCL）→ 全局路径规划（A* / DWA）→ 局部避障（TEB / VFH）。这套管线成熟可靠，甚至在生产环境里可以跑很多年不换。但它有几个根本性限制：建图要先扫一遍环境，环境一变地图就失效；动态障碍物处理依赖局部规划器，反应速度受限于传感器频率；视觉信息几乎没有被利用，全靠激光雷达点云。

GNM和NoMaD这套路线把问题重新表述了：不建图、不定位、不规划，直接从图像到动作。它放弃了几十年来机器人学积累的“地图”概念，换来的是极低的环境适配成本。你在一个新环境里，不需要提前扫描建图，只要带着训练好的模型进去，它看一眼就知道大致往哪走。这种能力在非结构化场景里价值极大——比如救援、勘探、或者家用机器人在用户家里第一次运行。

但必须实事求是地说：这套方案目前在精确性上还比不过传统管线。它不会给你厘米级的定位精度，也不会给出全局最优路径。它的目标不是取代传统导航，而是解决传统导航在“未知环境”和“视觉泛化”上的短板。说得直白一点：传统方案是给你一张精确地图，但地图过期了就抓瞎；GNM/NoMaD是给你一个路感，没有地图也知道大体往哪走。

3. GNM到NoMaD：扩散模型如何完成最后一跃

3.1 NoMaD的架构拆解

NoMaD这套系统的设计值得细看，它其实是两条分支的组合。第一条分支是“探索策略”（Explore Policy），用一个扩散模型实现，输入是当前的视觉观测，输出是机器人的动作，它负责在没有目标时漫游探索，在有目标时朝目标走；第二条分支是“距离预测头”（Distance Prediction Head），输入是当前图像和目标图像，输出一个标量，代表“当前到目标还有多远”。

这两个分支共享一个视觉编码器（ViT或CNN，按需选择），但各带各的输出层。训练时，距离预测头的损失用L1损失回归距离真值；探索策略用扩散损失训练，条件里包含目标图像。推理时有个关键的“归一化”步骤：由于探索策略输出的是“动作分布”而不是“单一动作”，NoMaD会对扩散输出的多个候选动作做加权平均或采样选择，然后交给底层控制。

我一开始没想通为什么要加距离预测头，后来才意识到，它其实是给扩散策略提供一个“进度感”。纯扩散策略在长距离导航时容易中途迷茫——生成的动作一直在变，缺乏一个信号告诉它“你已经走了一半了，继续坚持当前方向”。距离预测相当于给策略一个自我评估的通道，模型可以根据当前距离调整步长和转向幅度。这个设计在长走廊场景里尤其明显：没有距离头的版本经常在走到一半时原地转圈，加上之后就顺畅很多。

3.2 数据采集与预处理的心法

这套系统能不能复现，关键在数据。我用的方案是分三步走：

第一步，场景数据采集。找一个遥控手柄，在室内多个房间、走廊、楼梯口、户外步行道分别采集轨迹，每段15到30分钟，控制速度保持稳定，避免猛转猛停。采集时尽量让视野里出现不同纹理的墙面、不同光照条件，这比追求数据量大更管用。

第二步，轨迹后处理。原始轨迹包含位姿序列和图像序列，需要做对齐和裁剪。对齐是把机器人的位姿和图像时间戳匹配上；裁剪是把图像缩放到统一分辨率（我用224），同时把动作序列做平滑，剔除急转弯帧。

第三步，目标采样。对每条轨迹，随机选择未来某个时间点的图像作为目标图像，对应的动作序列就是“从当前到目标”的监督信号。这个“未来步数”是关键超参数：步子太小，模型学不到长距离规划；步子太大，目标可能已经离开视野了。我实测下来，未来20到40步（约2到4秒）是比较合理的区间。

数据量方面，我的经验是：单场景最少需要1.5小时的有效轨迹，跨场景要达到8到10小时才能看到泛化能力。这比传统强化学习动辄百万帧的要求友好得多，也说明这条路线的工程门槛在数据组织而不是数据规模。

3.3 推理阶段降低延迟的两种取巧方式

扩散模型推理最大的痛点是迭代去噪太慢。NoMaD原版用的是50步去噪，在带GPU的平台上能跑实时，但在Jetson这类边缘设备上就会卡。我实际部署时用了两种取巧方式：

第一种是降步数。把50步降到10步，动作质量肉眼几乎看不出差别。如果你用的是DDIM（Denoising Diffusion Implicit Models）采样器，10步的输出和50步的差距在导航任务里完全可接受。理论上这是利用了动作空间的低维性：二维动作分布的结构太简单，不需要那么多细化步骤。

第二种是动作缓存。扩散策略每步生成一个动作序列（比如未来8步的动作），我一次性生成后，按时间窗逐帧执行，不每帧重新推理。这样可以物理上把推理频率控制在显卡能力范围内，机器人则用更快的控制频率执行缓存动作。当然这会牺牲一点对环境变化（尤其是突然出现的障碍物）的响应速度，所以缓存长度不能太长，我的经验是缓存不超过1秒，2到4帧即可。

4. 复现实验中的关键环节与调参心得

4.1 实验环境搭建

我复现时的硬件组合是：一台带GPU的工控机（训练用），一台带视觉传感器的差速驱动机器人底盘（部署用）。底盘上装一个RGB相机，帧率15到30赫兹，视野角度越大越好，我用的是90度广角镜头，这样能捕捉到更完整的走廊信息。底盘控制频率设20赫兹，动作维度为线速度和角速度。

软件栈方面，训练框架我用的是PyTorch，搭配自己的数据加载流水线；部署时用机器人的ROS驱动包做底层控制接口，模型的推理则独立成一个节点，通过Topic收发图像和速度指令。这套结构的好处是模型部分和机器人解耦，可以单独在仿真环境里验证模型，再无缝切换到真机。我在Gazebo里仿真验证了模型的避障能力，再放上真机测试发现迁移效果不错——接近0的sim-to-real gap，因为输入输出都是图像和速度，与物理参数关系不大。

4.2 训练策略与超参数选择

训练时我采用的策略是“先冻结视觉编码器训输出头，再全模型微调”。第一步用预训练好的ViT编码器提取图像特征，只训练距离预测头和扩散输出头，这样大概5000步后损失就降下来了；第二步把编码器解冻，全模型一起微调，用较低的学习率防止灾难性遗忘。

超参数选择上，我踩过几个坑总结如下：

• 学习率：视觉编码器用1e-5，输出头用1e-4，分开设置比统一设置效果好得多。原因在于预训练编码器已经收敛，大学习率会破坏已有特征。
• 批次大小：16是下限，32更稳。扩散模型的训练对批次大小比较敏感，太小导致噪声估计方差大，损失曲线会很抖。
• 扩散步数：训练100步，推理5到10步，这是性价比最高的组合。
• 目标图像编码方式：用单独的编码器分支编码目标图像，而不是和当前图像共享编码器，否则模型会把“当前位置”和“目标位置”搞混。

4.3 评估指标怎么定才有意义

做导航系统的评估不能只看“到没到目标”。我最终用的评估体系分三层：

第一层是任务成功率：给定目标图像，机器人在时间上限内到达目标点附近（比如2米以内）的比例。但单看这个指标会掩盖很多问题——比如走了很远绕了一大圈也算成功，但路径很差。

第二层是路径效率：实际轨迹长度除以最短可行路径长度。这个指标衡量机器人的路线是否合理，绕路就会被惩罚。

第三层是干预率：人类操作员每秒需要干预多少次。这个指标最接近真实使用体验，因为很多时候机器人任务算成功，但过程中有几次差点撞墙，靠人救回来的。

我测下来，GNM的成功率在已知环境里相当高，但在未知环境里会掉；NoMaD加入扩散策略后，未知环境的成功率没有显著提升，但干预率下降了很多——即使走错路，它也能自己绕回来，不会傻在一个角落。这个差异恰恰说明扩散策略带来的不是“更聪明的规划”，而是“更鲁棒的决策分布”。

5. 常见问题与排查技巧实录

5.1 训练不收敛、Loss不降的排查顺序

我自己在复现时遇到最多的就是训练不收敛。这里有一套排查顺序，按顺序做能缩小问题范围：

先查数据对齐。图像和动作的时间戳对不对得上？如果偏移了0.5秒，模型学到的就是“看了旧图像做新动作”的错位映射，Loss肯定降不下去。我试过因为采集时用了缓存导致图像滞后，结果Loss一直在高位徘徊。解决办法是写一个自动对齐工具，用位姿时间戳和图像时间戳做插值匹配。

再查归一化。图像归一化、动作归一化都要做，动作要缩放到0到1区间，否则扩散模型在低维空间里很难拟合。我发现不少人忽略动作归一化，导致模型前期只学到了一个均值动作。

然后是超参数。检查扩散步数是不是设得太大导致训练退化，检查condition dropout是否设置（我设置了10%的dropout概率，让模型在无目标条件下也能工作，这对NoMaD的探索模式很有用）。

5.2 真机部署时“模型会走但很飘”的玄学

这是一个很经典的问题：仿真里走得稳，真机上机器人左摇右晃，像喝醉了一样。原因大概率出在“动作频率不匹配”上。仿真里你可以让模型推理频率等于控制频率，但真机上推理慢一拍，机器人就会用旧动作走新路。我的解决办法是给底层控制加一个“低通滤波”：动作指令不直接用，而是和上一帧动作做加权平滑，权重设为0.7（当前动作）和0.3（上一动作）。别看这个改动简单，它对稳定性的提升立竿见影。

另外一个隐蔽的坑是相机曝光时间和机器人运动速度的耦合。如果相机曝光时间太长，图像会有运动模糊，模型提取到的视觉特征全是糊的，像喝了酒一样。我的做法是锁定曝光时间和白平衡，不让相机自动调节，保证输入图像的稳定一致。毕竟模型训练时用的是清晰图像，推理时给它模糊图像，效果自然会崩。

5.3 数据集太小怎么办的三条替代路径

很多个人开发者没有条件采集海量跨域轨迹数据。我试过几条替代路径，按性价比排序：

第一条是仿真数据迁移。在物理渲染引擎里生成大量视觉多样的场景，利用域随机化（Domain Randomization）让模型见过足够多“不存在的环境”，再零样本迁移到真机。前提是仿真渲染要足够好，否则迁移效果差。

第二条是拼接公开数据集。某些导航数据集的采集条件不错，但格式各异，需要花力气统一。我试过混合两个不同来源的数据集训练，效果虽然不如自采的干净数据，但比单纯用单场景数据要好很多。

第三条是混合式微调。先用仿真数据预训练，再在真机上短时间采集少量数据微调。这个做法我实测性价比最高——仿真提供泛化能力，真机微调修正分布偏差，大概30分钟的真实数据就能让模型在目标环境里跑得像模像样。

6. 部署中的边界与后续扩展空间

6.1 哪些场景铁定不能用

分享完了怎么用，也得讲清楚哪些场景铁定不能用，省得大家踩同样的坑。我总结出四个“NoMaD会翻车”的地方：

第一，高精度对接场景。比如机器人要对准充电桩、取放料架，误差要求毫米级，纯图像导航做不到。这种任务需要配合机械臂的视觉伺服或其他传感器，NoMaD适合的是“走过去”，不是“对准”。

第二，超大规模环境。NoMaD的理论设计是无地图导航，但它的有效工作范围其实受限。我实测在超过200米的走廊序列里，累积误差会导致方向漂移，最终走错岔路口。它的成功依赖视觉目标的连续性，一旦视觉目标因为距离太远变成几十个像素的小点，编码器就找不到有效特征了。

第三，极端动态环境。如果环境里的障碍物以高速移动（比如繁忙的车间、人流密集的商场），扩散策略生成的动作跟不上变化，碰撞风险会增加。NoMaD更适合静态或轻度动态的场景。

第四，黑暗与传感器退化。纯视觉方案在黑暗、逆光、雨雾场景下会直接失效。不过这个可以通过融合红热成像或事件相机部分缓解，但不是NoMaD本身能解决的事情。

6.2 后续可以做的三个扩展方向

最后聊三个我自己觉得值得跟进的扩展方向，给读完想动手的同行参考：

第一个是视觉语言导航融合。GNM/NoMaD的目标是图像，已经比坐标亲民很多，但离人还差一步——人说“去厨房”它不理解。把目标图像换成文本描述，用图文对齐模型把文本编码成条件向量，就能让机器人听懂指令。这个方向已经有开源工作在做，技术上跟GNM框架天然兼容，门槛不高。

第二个是记忆机制扩展。NoMaD目前是无记忆的，每次决策只依赖当前观测和目标。如果给它加一个记忆模块（如记忆网络或检索增强模块），让它能记住“刚才走过了一条死路”，就能避免重复探索。这会大幅提升大场景下的导航效率。

第三个是长时程动作预测。现在扩散模型预测的是未来几秒的动作，如果扩展到预测未来几十秒的“动作摘要”，就能让机器人提前适应地形变化（比如提前感知楼梯并调整速度）。这个方向对算力要求更高，但理论上前景很大。

从扩散模型到GNM再到NoMaD，这条技术线看似在换模型、换架构，内核其实一直没变：让机器人依靠视觉本身，在未知环境里走出路来。扩散模型贡献了多模态动作生成能力，GNM贡献了跨环境数据组织范式，NoMaD把两者结合成了一套可部署的系统。我真心建议对这个方向感兴趣的开发者，先去复现一个GNM，理解跨域数据的力量；再给GNM加一个扩散策略头，感受多模态动作的鲁棒性；最后踩一遍我在文中提到的坑——相信你会对具身导航这件事有完全不一样的理解。导航的本质从来不是地图，而是路感。