“具身智能”这四年被反复提起，但真正把机器人做进物理世界、让它“看得见、摸得着、动得快”的人，都会有一个共识：传统普通相机那一套完全不够用。过去几年我一直在做机器人感知方向，从深度相机评测到触觉传感器集成，再到折腾事件相机，踩过的坑比项目周期还长。这次借计算成像第25讲的内容，把具身智能视觉与机器人相机这条线彻底展开，重点讲三样东西——深度相机、触觉传感器、事件相机，各自解决什么问题、实际怎么选、怎么标定、怎么融合，以及单项传感器处理不好会带来什么连锁反应。适合正在做机器人抓取、移动操作、多模态感知的工程师，也适合刚入门具身智能、想建立传感器选型判断力的同学。

1. 从“看得见”到“懂得摸”：具身智能视觉的感知需求拆解

1.1 具身智能视觉和传统计算机视觉的本质差异

传统计算机视觉的核心是“从图像里拿到语义”：检测出目标框、分割出像素、识别出人脸。算法链路清晰，从卷积网络到目标检测再到语义分割，这套技术栈在自动驾驶、安防监控、内容审核里已经非常成熟。

但到了具身智能领域，机器人需要在物理世界里执行动作，光有语义远远不够。机械臂要去抓一个杯子，它不仅要“知道图像里有杯子”，还必须知道杯子的三维坐标、姿态朝向、表面材质是不是易碎、抓上去的摩擦力够不够、杯子会不会在手臂接近时晃动。这些信息一张普通图像给不了，只能靠多个传感器配合去还原物理状态。

所以我把具身智能视觉理解为“服务于动作的感知系统”。它的输出不是标签，而是空间点云、接触力、事件流这样能直接喂给运动规划与控制器的数据格式。这也是我在实际项目里几乎从不只用一种传感器做感知的原因——深度、触觉、事件相机各有不可替代的感知维度，组合使用才能真正支撑一个动作闭环。

1.2 三种传感器各自扛起什么任务

三类传感器不是重复堆叠，而是从不同物理维度补齐感知。先说空间维度：深度相机负责给机器人提供毫米级的三维几何信息，解决“目标在哪里、周围有什么障碍物”。深度图的每一个像素对应一个空间点，机器人能借此建立坐标系下的目标位置。

再说交互维度：触觉传感器负责物理接触层面的信息，解决“接触上了没有、力度多大、会不会打滑”。视觉永远看不到接触点被遮挡的瞬间，也看不到力的大小，只有触觉能给出真实的交互证据。

最后说时间维度：事件相机负责捕捉场景中的高速变化，解决“物体动得多快、光照突变能不能跟上”。它不像普通相机那样按固定帧率输出图像，而是每个像素独立检测亮度变化，从而达到微秒级的响应速度。这三类传感器在时间尺度上天然互补：深度相机一般20到60赫兹，适合慢速定位；触觉传感器动辄上千赫兹，适合力控闭环；事件相机则是异步事件流，适合捕捉瞬态变化。空间尺度上，深度感知全局环境，触觉只感知局部接触点，事件相机介于两者之间。

理解了这一点，就不难明白为什么现代机器人感知系统都在做多传感器融合，而不是指望某一类传感器单打独斗。

2. 深度相机：让机器人拥有空间坐标的关键一步

2.1 三种主流深度成像方案的原理与取舍

深度相机按技术路线主流可分为三类：结构光、ToF（飞行时间）、双目立体视觉。

结构光的原理是主动投影带有编码信息的网格或条纹到物体表面，再用相机拍摄被物体表面形状调制的图案，根据图案的畸变程度解算三维坐标。它的优点是近距离内精度高，点云相对稠密，非常契合桌面级机械臂抓取小零件这类任务。但缺点也很明显：容易受环境光干扰，室外强光下基本失效，工作距离一般只有0.2米到1.2米左右。你把它装到移动机器人上带到户外，深度图大概率直接变成一片黑洞。

ToF的原理则完全不同，它是向目标发射调制光，通过测量光来回的飞行时间或相位差来计算每个像素的深度。它不依赖物体表面纹理，测量速度很快，工作范围从0.1米到几十米都能覆盖，所以移动机器人、AGV上用得特别多。缺点是分辨率做不高，多数消费级产品只有几十万像素，而且对反光表面和多路径反射敏感，测量精度通常在一到三厘米级别，远距离下误差会进一步放大。

双目立体视觉更接近人眼的工作方式：左右两个相机同时拍摄同一场景，通过标定好的内外参计算视差，再利用三角测量恢复深度。优势是成本低、系统搭建灵活，只要有普通工业相机和好标定就能跑。缺点是对物体表面纹理依赖很强，光滑白墙、无纹理区域算不出深度，而且立体匹配本身计算量大。从算法上补救可以用主动纹理投影，比如在相机旁加一个红外散斑投射器，相当于半主动双目方案。

选型从来就没有“最好”的方案，只有“最匹配任务”的方案。桌面级高精度抓取零件，结构光很好；移动平台导航避障，ToF更稳；室内外都要跑、还要考虑成本，双目加主动光补光是灵活的选择。

2.2 深度相机选型时容易忽略的关键参数

很多同学选深度相机时只看“分辨率”和“帧率”两个指标，进了项目才发现远远不够。实际工程里，以下几个维度比像素分辨率更重要：

• 工作距离和视场角是否匹配机械臂工作空间。如果你把一台工作距离只有1.2米的相机装到2米臂展的大机械臂旁边，那目标离得远了根本看不见；
• 深度图和RGB图是否已经硬件对齐。有些相机输出的是两路分离的流，软件对齐会额外消耗CPU时间且对齐精度差；
• 长时间运行的发热降帧表现。很多消费级深度相机跑20分钟就过热降帧，这在需要长时间连续运行的机器人系统里是致命的；
• SDK的设备坐标系转换接口是否完善。你后面做手眼标定、点云变换时，如果SDK不自带头外参接口，开发成本会成倍上升。

要特别注意一点：深度相机的标称精度大多是在近处、理想光照条件下测出来的，实际使用时误差会随距离平方增大。你看到标称“1毫米精度”，大概率只在0.5米以内成立，离工作范围边缘越远，误差越大。项目启动前用标定板在真实工作距离上实测一组误差曲线，比看任何参数表都靠谱。

2.3 深度相机的手眼标定实操细节

手眼标定是深度相机在机器人系统里绕不开的一步。安装方式通常分两种：眼在手上，相机装在机械臂末端，跟随机械臂一起运动；眼在手外，相机固定在机械臂外的某个支架上，视野固定。无论哪种，目标都是求出相机坐标系到机械臂基座坐标系的变换矩阵T。

以眼在手外为例，完整流程大概是：

1. 在机械臂末端固定一块标定板，也可以用专门的手眼标定板；
2. 控制机械臂运动到多个不同姿态，每个姿态下同时记录机械臂自身输出的末端位姿T_base_to_tool和相机拍摄的标定板图像；
3. 对每帧标定板图像，用角点检测和PNP求解得到相机到标定板的变换T_cam_to_board；
4. 将多组数据代入经典的AX=XB方程，求解相机和机械臂末端之间的固定外参X；
5. 用未参与求解的姿态做重投影验证，计算误差。

这个流程里坑很多，最典型的有三类：一是机械臂自身位姿报得不准确，廉价款机械臂尤其明显；二是标定板角点提取受反光和遮挡干扰，特征点有噪声；三是采集姿态太单一，比如全都集中在同一高度、同一朝向，导致方程病态。我的建议是采集至少30组数据，覆盖不同高度、不同俯仰角、不同水平位置，让标定板占满图像的不同区域。最终验证误差在1厘米以内基本可用，如果超过这个值，先怀疑标定数据质量，再怀疑算法。

2.4 点云后处理：深度数据常见的“天坑”与救法

拿到深度相机的原始数据，第一反应往往是“这深度图怎么到处是洞”。反光金属表面、透明玻璃杯、深色吸光材质都会导致深度读出失败，这是物理限制，不是设备故障。

面对空洞，我的处理策略有两条路。第一是在硬件层面做多帧融合：让机械臂或移动平台小幅移动，从多个视角拍摄同一目标，再配准叠加深度图，用多视角信息填补单视角空洞。这个方案稳，但需要目标物体大致静止。第二是在算法层面做补全：对空洞区域做插值，或者用深度补全网络推理缺失区域。补全只能救视觉，不能救物理反射，本质上是“猜”而不是“测”，关键场景还是要靠多角度拍摄兜底。

点云后处理还有一个通用流程，几乎每个项目都要走一遍：

• 直通滤波：按工作范围裁剪点云，去掉背景和无关区域，直接减少计算量；
• 体素降采样：用0.5到1厘米的体素网格对点云下采样，让密度可控；
• 统计滤波：去除离群的离散点和飞点；
• 平面提取与坐标变换：用RANSAC提取桌面或其他参考平面，把点云归一化到参考坐标系，方便后续计算抓取位姿。

我实测下来，10万点左右的点云在CPU上跑完全套滤波流程基本能到实时；但如果还要做配准、位姿估计，就得考虑GPU计算。CPU占用和内存占用经常被忽视，部署到嵌入式机器人上时，它们反而成为主要瓶颈。

3. 触觉传感器：为机器人补齐力和接触的感知

3.1 为什么视觉再强也离不开触觉

很多时候深度相机能精确定位目标的三维位置，却对目标的物理特性一无所知。它不知道杯壁有多光滑，不知道鸡蛋壳有多脆，不知道拧螺丝需要多大的力矩。这些信息不存在于像素里，只存在于接触瞬间。

抓鸡蛋是最经典也最能说明问题的场景。视觉系统可以分析出鸡蛋的位置和姿态，但鸡蛋壳的硬度、指尖接触时的摩擦系数、捏多大力度才会碎，视觉像素里根本没有。机器人带着视觉去抓鸡蛋，完全靠的是预设参数和概率，一旦鸡蛋大小、摆放角度稍有变化，预设参数就失效了。

遮挡问题同样棘手。机械手接近物体时，指尖往往会被手本身或目标物体挡住，相机根本看不到接触点。如果非要等视觉“看到”接触再控制，目标早被碰飞了。

所以触觉信息本质上是其他传感器拿不到的“物理交互证据”。分拣、装配、打磨场景里，工程团队宁可牺牲一点视觉精度，也要先保证触觉反馈的实时性。现在做机器人操作方向的团队大多形成了一个共识：视觉负责预判，触觉负责确认。

3.2 主流的触觉传感技术路线对比

触觉传感器不是只有一种形态，四条主流技术路线各有利弊：

• 电容式触觉传感器：电极间的电容随压力变化，进而反映受力。空间分辨率可以做得比较高，还支持柔性大面积阵列，是研究界和高端产品中常见的形态。缺点是电容值受温湿度影响明显，长时间运行需要稳定标定，驱动电路也相对复杂。

• 压阻式触觉传感器：压阻材料受压后电阻变化，通过测电阻反推压力。它实现简单、成本低、信号调理容易，适合做比较便宜的“摸一摸”检测。缺点是重复性和迟滞相对差一些，精密力控场景可能不够用。

• 光学式触觉传感器：这是最近几年非常火的方向，也常被叫做“视觉触觉传感器”。它的原理是在指尖做一个柔性凝胶层，凝胶表面接触物体时发生形变，内部微型相机拍摄凝胶背面的标记点图案，通过光流分析还原接触的几何和力分布。优点很突出，空间分辨率可以达到亚毫米级，能感知接触区域形状，不仅知道“按了多少力”，还知道“按在了哪个形状上”。缺点也很明显：体积偏大，采样率受微型相机帧率限制，通常只有几十到一两百赫兹，做快速力控闭环会比较吃力。

• 磁式触觉传感器：永磁体加霍尔阵列，接触形变带动磁体位移，磁场变化被霍尔元件感应，反推力和位移。它对油污、液体、粉尘环境非常鲁棒，不怕脏，所以工业夹爪指尖上很常见。缺点是空间分辨率很难做大，大阵列成本高。

除了空间分辨率和力分辨率这两个显性指标，实际选型时我会额外关注四个参数：动态范围，能不能同时感知轻柔触摸和重负载；采样率，力控闭环一般要求至少1千赫兹，很多光学方案达不到；迟滞，满载回到空载时读数能否回到原点；过载能力，超出量程会不会直接损坏传感器。

3.3 触觉数据怎么用：从“摸一下”到闭环控制

触觉传感器原始输出不能直接拿来控制，工程上要过三道工序。第一步滤波，用滑动平均或低通滤波把高频噪声压下去；第二步基线矫正，上电后记录空载读数作为零点，之后所有读数都减去这个基线；第三步力和读数的标定，通过已知砝码加载实验拟合出每个单元的力曲线，有条件的话再加上温度补偿。

真正做控制时，我习惯把触觉信息分成两层来用。第一层是连续力反馈，用于精确力控，比如打磨、装配、抓取易碎物体。这一层关注的是总合力与力矩的连续变化，控制器直接把实时力值读进闭环。第二层是事件触发，用于状态迁移，比如“触到物体的瞬间立即停止下压”“抓稳后不再加力”。这一层只需要特定阈值判断和边沿检测，不关心力的具体数值。

以抓取易碎物品为例，一套经典闭环逻辑大致是：机械臂按视觉给出的目标位姿快速下移，接近接触面时切换低速，触觉传感器检测到接触力达到阈值后立刻停止下压，然后逐步增加夹爪力，直到检测到物体不滑动就保持稳定。整套逻辑要在几百赫兹以上的环路里跑。实测下来，光有视觉没有触觉，这种任务的成功率可能连70%都不到；建立力反馈闭环后，稳定到95%以上完全可行。

4. 事件相机：面向高速动态场景的另类视觉

4.1 事件相机的工作原理，以及它与普通相机的代差

普通相机无论场景怎么变化，都是按固定帧率输出一幅幅离散图像。帧与帧之间的所有信息都丢了，运动太快时还会出现拖影或模糊。事件相机彻底换了一种思路：每个像素独立检测自身所在位置的亮度变化，一旦亮度变化幅度超过阈值，就立刻输出一个事件，包含像素坐标、时间戳和极性。

这个机制带来三个不可替代的优势。第一是时间分辨率极高，事件时间戳精度可以达到微秒级，远远超过普通相机的曝光周期。第二是动态范围极大，每个像素独立观察亮度变化，不受全局曝光限制，可以同时适应很亮和很暗的环境，普通相机的过曝和欠曝问题在事件相机上几乎不存在。第三是数据稀疏高效，静态场景基本不产生事件，输出不是一整张图，而是一小撮事件流，功耗低、带宽占用小，非常适合嵌入式部署。

用生活类比理解的话，普通相机像每隔一秒翻一页连环画，动作太快就看不清；事件相机只记录变化的瞬间，场景静止时它几乎不工作，完全为“变化”服务。

4.2 事件数据长什么样，怎么接入算法

事件相机的输出是一组四元组坐标（x， y， t， p）。x和y是像素坐标，t是微秒级时间戳，p是极性，亮度变亮记作正事件、变暗记作负事件。它无法像普通图像那样直接接进现成的视觉网络，因为它没有规整的帧结构。

常用的接入方式有三种。第一种是累积帧法，把一小段时间窗内到达的事件按极性累积成一幅图像，看起来像灰度图，可以直接用传统视觉算法或训练好的CNN。优点是兼容性好，缺点是丢失了事件流内部的精确时间信息。第二种是时间面法，对每个像素保存最近一次事件发生的时间，做成一幅“时间地图”，能够保留动态变化的趋势，适合目标跟踪。第三种是直接在事件流上跑专门的时空网络或脉冲神经网络，这是学术界的热点方向，但工程落地难度还很高，不适合刚接触事件相机的团队。

我给刚开始做事件相机的建议是：先用累积帧法跑通任务，把传统算法在事件图像上复现出来，再逐步加入时间信息。盲目上复杂模型容易陷进算法调优的泥潭，连传感器数据本身都没吃透。

4.3 事件相机的工业场景落地与踩坑体会

事件相机真正发挥价值的地方是高速动态、极端光照、低带宽这三类场景。旋转机械臂高速接近目标时，普通相机的延迟可能导致碰撞，事件相机微秒级响应可以做接近前的即时避障。无人机或机器人在明暗剧烈变化的环境里穿行，普通相机容易过曝或死黑，事件相机却始终能检测到障碍轮廓。还有一些快速纹理变化的检测场景，比如线缆抖动监测、滚动物体表面缺陷检测，事件流能捕捉传统相机根本拍不到的瞬间。

踩坑方面，事件相机的参数调节是典型的“拆东墙补西墙”。对比度阈值设太高，触发事件太少，快速的弱变化容易漏检；阈值调太低，噪声事件疯狂增加，带宽和算力双双遭殃。我的调节习惯是：先记录静态场景下的背景噪声基线，把阈值设置在噪声之上一点点，再加时间滤波，比如认为持续不到50微秒的孤立事件属于噪声，直接丢掉。

另外还有一个物理层面的限制：事件相机在重复纹理或者缓慢均匀变化的场景下，会退化成一台噪声发生器。这是传感器原理决定的，算法只能缓解不能根除。所以综合来看，事件相机做“融合”永远比做“替代”靠谱，它负责补充普通视觉缺失的高速与高动态信息，而不是取代传统相机。

5. 三类传感器协同配合的系统集成实操

5.1 时间同步：多传感器融合的第一个拦路虎

深度相机一般20到60赫兹，触觉传感器可能到1000赫兹，事件相机又是异步事件流，三者时间基准不一致，融合结果会一塌糊涂。

一个简单的例子就能说明问题严重性：机械臂以每秒30厘米的速度下压，深度相机一次数据延迟50毫秒，就相当于目标位置在现实里已经漂移了1.5厘米，这个误差超过很多抓取任务的容错范围。

时间同步的工程做法有两个档次。软实时同步是把所有传感器的时间戳统一到同一个时钟基准，比如用NTP或ROS2的时钟同步机制，然后在算法里做线性插值对齐。优点是好实现，缺点是延迟抖动仍然存在，最多做到几十毫秒的精度。硬件同步是用外部触发器同时触发多路相机曝光，保证所有图像在同一时刻采集，触觉和事件相机用高精度硬件时间戳对齐，精度可达微秒级，工业机器人系统几乎都是这么做的。

我的经验是，消费级原型阶段先用软实时同步跑通整个融合算法，确认逻辑正确，再上硬件同步优化精度。一上来就追求硬件同步，调试成本高自己也累，而且未必能判断问题到底出在同步还是算法。

5.2 空间对齐与标定的完整流程

时间对齐之外，所有传感器都要变换到同一坐标系。深度相机的手眼标定流程前面已经讲过，注意对手眼在外场景，标定后你得到的是相机坐标系到机械臂基座的变换。触觉传感器的空间位置，则是通过机械臂运动学间接建立：触觉传感器固定在夹爪上，通过机器人模型和正向运动学算出指尖在基座坐标系下的位置，再和相机外参对齐。

这一串变换容易造成误差逐级放大。视觉定位误差正负2毫米，机械臂运动学误差正负0.5毫米，触觉感知误差正负1毫米，三者叠加可能就逼近四到五毫米。很多任务对抓取精度的要求不过在正负两三毫米以内，单纯依靠理论标定往往不够。

实际操作里，我会加一步闭环验证标定：让机械臂带着触觉传感器去接触已知位置的标定物体，根据触觉实际检测到的接触位置，反向修正相机外参。这比任何离线标定都直接有效，因为标定板和真实接触点之间有本质区别——标定板给的是几何，接触点给的是“真正碰上了”的证据。

5.3 一个完整场景：透明水杯抓取中三种传感器如何分工

假设桌面放着透明水杯，表面有强烈高光，背景有复杂纹理，而且水杯可能因为气流轻微晃动。这几乎是传统视觉的“死亡场景”，但深度、触觉、事件相机的组合可以稳定完成抓取。

整个流程按时间顺序展开：

1. 事件相机低功耗值守。水杯被气流吹得轻微移动，事件流瞬间产生动态变化信号；
2. 深度相机接到事件相机给出的“有变化”提示后，开始多帧融合，连续积累多帧深度数据求稳定中心点，因为透明和反光，单帧深度并不可靠；
3. 机械臂按深度给出的空间位姿快速下移到接触面附近；
4. 触觉传感器在指尖接触杯壁的一瞬间输出边沿信号，控制切换为低速抵近；
5. 夹爪按触觉力反馈逐步增加握力，直到滑移不再增加，确认抓牢后完成抬升。

这个流程里，每一类传感器都在自己最擅长的阶段发挥了不可替代的作用。事件相机负责唤醒和预警，深度相机负责空间定位，触觉传感器负责接触确认和力控制。这也是我始终强调的：具身智能的传感器拼的不是单项参数，而是系统配合。

6. 我在实际项目中踩过的坑与排查套路

多年多传感器项目做下来，我把高频问题整理成了一张排查表，每次项目出问题先对着表过一遍：

再补充两个项目里反复折腾出来的独门细节。

第一，标定永远不要只做一次。机器人运行过程中，相机可能因为碰撞松动，机械臂长期负载可能导致运动学参数漂移，触觉传感器的响应也会随温度变化。我一般跑几百次抓取后就重新做一次快速验证标定，发现问题立刻重标。这台设备的标定结果不能直接挪到另一台设备上，别问我是怎么知道的——每台机器都有每个机器的脾气。

第二，触觉传感器上电后的前几分钟数据绝对不能信任。这段时间传感器内部还在热稳定，基线漂移最严重。如果系统刚上电就直接把空载读数当成力控基准，控制器容易输出一个远超预期的动作，最危险的情况是机械臂突然加速下压。我现在的规范做法是：上电后等待至少五分钟，采集基线，确认漂移稳定之后，才允许触觉信号进入控制环路。

最后分享一个这些年最深的体会：做机器人感知，传感器数量从来不是核心问题，传感器之间的标定精度和时序一致性才是。运筹帷幄的方案装在散沙上，跑出来的结果一定让你怀疑人生。深度、触觉、事件相机各自都足够复杂，真正把它们“娶进一个系统”之后，你会发现最大的挑战不在某一个传感器上，而在让它们使用同一套语言、同一个时间表、同一个坐标系工作。这种系统思维，可能才是计算成像和具身智能结合起来最值得反复体会的部分。