1. 写在前面我为什么盯上这份 VGI 白皮书这两年只要跟视觉方向的朋友聊天基本绕不开一个词视觉通用智能。从 CVPR 上的 Oral 论文到各大厂实验室的 Demo大家都在往一个模型处理所有视觉任务这个方向挤。2026 年 CVPR 的 VGI WorkshopVisual General Intelligence Workshop就是在这个背景下出现的组织阵容里几乎把视觉领域叫得上名字的大牛都凑齐了目标是发布一份系统性的视觉通用智能白皮书。我在这个领域算是半路出家早年做目标检测和分割后来转做多模态大模型中间也踩过不少坑。看到这份白皮书的提纲草案时第一反应是终于有人愿意把散落在各个论文里的通用视觉概念、路线图、评测口径拿出来做一次系统性整理了。以前大家各说各话你说通用我说泛化指标不统一、任务不统一、评价标准也不统一导致很多工作根本没法横向比。白皮书想解决的恰恰是这些问题。所以这篇博文不是简单帮你划重点而是把白皮书背后的核心思路拆开揉碎结合我自己做视觉模型的实际经验讲清楚这几件事视觉通用智能到底要解决什么、关键技术路线有哪些、评测和数据集为什么是真正的胜负手以及普通研究者怎么借着这次的东风找到自己的切入点。不管你是在校学生、工业界算法工程师还是刚转行想做视觉大模型的这篇都值得耐心看完。2. 视觉通用智能到底是什么先厘清概念边界2.1 从一个模型一个任务到一个模型所有任务先聊个基础问题视觉通用智能和我们平时说的视觉理解多模态大模型有什么区别传统视觉 AI 的套路是一个萝卜一个坑——训练一个车型识别模型就只能识别车型训练一个缺陷检测模型就只能看缺陷。哪怕你用同一个骨干网络Backbone下游也要接不同的 Head 和 Loss。这种方式在小场景里好用但换个数据集、换个任务往往要从头调参甚至从头训练泛化能力非常有限。视觉通用智能的目标完全不同训练一个基础模型让它能同时处理检测、分割、深度估计、姿态估计、图像生成、视频理解等几十上百种任务而且在新任务上不需要重新训练给几个样例甚至一句话描述就能零样本或少样本迁移。这个思路和 GPT 系列在 NLP 领域做的事情类似——先在一个超大语料上学到通用知识再在下游任务上大幅减少微调成本。但视觉比语言复杂得多。语言是离散符号天然有统一编码方式图像的像素分布、物体尺度、光照条件、视角变化、任务输出结构千差万别。这就是为什么视觉通用智能一直落后于语言大模型的进展也是这次白皮书想重点讨论的难点。2.2 VGI 与 AGI 的关系不是简单的视觉版 AGI白皮书里有一个很重要的表述VGI 不等于 AGI但它是 AGI 不可或缺的感知底座。人对外部世界的理解超过 80% 的信息来自视觉。如果大模型没有强大的视觉理解能力它就像一个人闭着眼睛做推理天花板很低。但 VGI 又不仅仅是看图说话。白皮书强调的通用智能指的是模型需要具备感知能力识别和理解图像/视频中的物体、场景、关系、动作推理能力基于视觉信息进行空间推理、因果推理、常识推理生成能力根据文字或视觉条件生成新的图像/视频内容交互能力在具身环境中通过视觉感知驱动行动如机器人抓取、导航学习能力在少量样本甚至零样本下快速适应新任务这五个维度叠加在一起才构成通用的完整含义。只看其中任何一项都不足以叫视觉通用智能。所以以后看到有人把能检测 1000 类物体说成是通用智能可以直接判断这是在偷换概念。2.3 从感知到认知核心能力分层拆解这个五维能力如果展开来看白皮书的路线图基本是把视觉智能分成了三个层次第一层像素级理解。这是当前最成熟的层级包括分类、检测、分割、深度估计等。模型输入的是像素输出的也是和像素对齐的结构化结果。这一层解决的问题是看见。第二层语义级理解。模型输出的是概念、关系、逻辑比如这个人在骑自行车自行车是蓝色的人和车的相对位置是怎样的。这一层解决的是看懂。现在很多多模态大模型如 GPT-4V、Gemini 系列已经做到了这一步但仍然不够稳定复杂场景下会出错。第三层认知与决策。模型不仅能看懂还能根据视觉信息做规划、决策和行动。比如机械臂看到一个杯子知道怎么绕开障碍物去抓它抓的时候用多大力度抓完放到哪里。这一层解决的是用起来也是具身智能Embodied AI的核心。白皮书把这一层列为长期目标短期内不太可能彻底解决。我个人的判断是未来两年内第一层和第二层的边界会逐渐模糊统一的视觉骨干网络会在更多任务上替代专用模型第三层短期内还是研究热点离产品化有一段距离。白皮书的价值在于把这三个层次放入同一个坐标系让研究者清楚自己工作在哪个阶段、还需要补什么能力。3. 白皮书在下一盘什么棋核心框架与目标3.1 为什么 CVPR 需要一个 VGI 白皮书CVPR 的 Workshop 历来是两个作用展示最新研究趋势、制定领域共识。VGI Workshop 想做的明显是后者。视觉通用智能这个词其实已经火了两三年但一直缺乏一个官方或半官方的定义框架。你在论文里搜 Generalist Vision Model能找到很多相关工作比如 Pix2Seq、UniT、Florence、SAM、OmniGlue 等等各自的设计思路千差万别有的走统一输出空间路线把检测、分割、姿态估计都建模成序列生成问题有的走Transformer 架构 多任务微调路线任务之间共享参数但保留专家模块有的走图像级标记路线把像素和语言模型直接对齐还有的走世界模型路线强调视频预测和空间理解这些路线各有道理但评价标准和评测数据不统一导致谁更接近通用智能这个问题根本没有明确答案。白皮书如果能给出一个统一的能力评估维度和评测协议对整个领域来说都是重大利好。3.2 白皮书的核心框架能力轴、任务轴、数据轴从目前流出的草案和 Workshop 征稿启事来看白皮书拟围绕三条主轴线搭框架能力轴把上面的五维能力再细化成可操作的评估项比如细粒度识别准确率、在遮挡条件下的鲁棒性、零样本分割的 IoU、多任务迁移的遗忘率等。每个评估项对应一组数据集和测试协议。任务轴把所有视觉任务分门别类从底层感知任务到高层认知任务再到具身交互任务构成一张视觉任务图谱。模型能覆盖的任务种类越多、性能越接近专用模型就认为通用性越强。数据轴讨论训练数据规模、数据多样性、数据配比、数据生成等。白皮书想推动的一个关键点是视觉通用智能的下一阶段突破可能不是靠更大的模型参数量而是靠更高质量、更多模态对齐的训练数据。这三条轴合在一起很像学术界给视觉通用智能画的一张坐标系。每个团队的工作都可以放进这张图里定位判断自己是卡在能力短板、任务覆盖不够还是数据质量不行。这种坐标系思维对研究选题非常有指导意义。3.3 对产业界的价值溢出这份白皮书虽然是学术导向的但产业价值非常大。原因很简单如果评测标准统一了产业链上下游就能对齐。比如做智能安防的公司以前说自己模型通用客户没法验证如果有一套权威的 VGI 评测基准客户可以拿同一套任务集去测多家模型谁强谁弱一目了然。做自动驾驶的团队也长期困扰于感知模型在不同城市、不同天气下的泛化问题VGI 的任务轴如果能覆盖这类极端场景对模型选型也有参考意义。我在和几个工业界朋友聊这事时大家的共识是白皮书最大的作用不是提出一个惊艳的新模型而是把散落的需求、标准、评测集合到一个共同的框架里。这种基础设施的工作往往比单点技术突破更有长期价值。4. 从感知到行动VGI 的关键技术路线4.1 统一模型架构的三种流派白皮书的核心议题之一是什么样的架构才能支撑通用视觉能力。梳理下来目前主要流派有以下三种。第一种统一输出空间流派Unified Output Space。代表工作是 Pix2Seq 系列。思路是把所有视觉任务检测、分割、姿态、深度都当作序列到序列问题输出统一离散化成序列 token。优点是架构简单不需要为每个任务设计特定 Head缺点是在高分辨率像素级任务上计算量大精度损失明显。第二种混合专家流派Mixture of Experts。代表是微软的 Florence 和谷歌的 UniT。主干网络共享每个任务或每组相关任务挂独立的专家模块通过路由机制选择合适的专家。优点是每个任务保留一定专属能力不容易出现多任务相互干扰缺点是专家路由的训练复杂度高而且专家数量增加会带来部署时显存压力。第三种通用感知 语言接口流派Perception Language Interface。这是目前最热门的路线典型代表是 GPT-4V、LLaVA 系列、InternVL 等。做法是把视觉编码器输出的特征直接拼接到语言模型的 token 序列里让语言模型在理解视觉特征的同时生成答案。这条路线的最大优势是白捡了语言大模型的推理和指令跟随能力但缺点是容易产生幻觉在像素级精确任务上天生吃亏。三条路线我都有过实际使用经验。如果需要做产品原型第三条最快因为生态最成熟如果追求像素级精度第一条或第二条可能更适合。白皮书如果想给出架构方面的推荐很可能会建议混合方案——视觉主干用统一架构任务输出按场景灵活切换而不是押注某一条单一技术路线。4.2 任务间的迁移与遗忘问题做过多任务学习的人都知道迁移和遗忘是绕不开的坎。模型学完新任务后旧任务的性能会下降这个现象叫灾难性遗忘Catastrophic Forgetting。在视觉通用智能场景下这个问题被放大了因为任务类型跨度非常大分割和生成、检测和姿态估计之间的共享表征非常有限。我自己的一个教训是早年做多任务模型时天真地把所有任务的 Loss 简单加和结果训练完检测指标上去了分割指标掉得一塌糊涂。后来用了任务特定的 Loss 权重自动调节策略类似 Uncertainty Weighting才把两个任务平衡住。这个经验可以通用——多任务训练不是简单地加 Loss需要一个动态调节机制。白皮书大概率会对这个问题给出系统性的建议比如渐进式训练先训底层视觉能力再逐步叠加高层任务回放缓冲在训练新任务时采样旧任务数据一起训参数隔离为重要任务保留专用参数冻结共享部分这些方法不是新技术难点在于如何在超大规模视觉模型上工程化落地。这也是学术研究和工程实现之间的鸿沟。4.3 长尾任务与开放世界真实世界的视觉任务分布是极端长尾的。常见任务占了 90% 的训练量但实际场景里层出不穷的是那 10% 的稀有情况——低光照、极端角度、罕见物体、遮挡严重。视觉通用智能能不能在开放世界里站住脚关键就看长尾任务的泛化能力。白皮书在这个议题上可能会强调三点测试集必须包含足够多的分布外样本来验证模型泛化性少样本学习Few-shot Learning和提示学习Prompt Learning应该在评测中占有重要权重允许模型在推理时通过在线自监督学习新任务而不是完全依赖静态权重这和我们做工程是一样的道理——线上模型最怕的不是已知场景性能下降而是突发的新场景直接崩掉。通用智能如果连长尾都解决不了那通用就是空话。5. 评测体系视觉通用智能的考卷怎么出5.1 现有评测基准的三大缺陷白皮书花了很大篇幅讨论评测这恰恰是业内最有争议、最需要整合的部分。现有评测基准的三大缺陷非常明显缺陷一任务孤立。GLUE 那样只测语言理解或者只用 COCO 测检测、只用 ADE20K 测分割这种单一任务基准线根本无法反映通用能力。真正通用的模型应该在多个任务间共享知识但现有基准根本测不出这种共享效果。缺陷二指标不统一。检测用 mAP分割用 mIoU深度估计用 RMSE姿态估计用 PCK每个任务一把尺子。模型 A 检测强、模型 B 分割强你告诉我谁更通用没有标准答案。缺陷三静态数据集。现在的评测集都是离线标注好的模型在训练时可能已经见过类似分布的数据存在数据泄漏风险。开放世界里的在线评测、动态评测几乎空白。5.2 白皮书可能给出的评测方案结合 VGI Workshop 征稿中的提示我猜测白皮书会推动一个三层评测框架评测层级评价内容示例指标数据来源基础能力层单任务性能mAP, mIoU, RMSE现有标准数据集跨任务迁移层新任务学习效率少样本准确率、微调所需数据量、遗忘率新构建的跨任务基准开放认知层推理与决策能力视觉问答准确率、具身任务成功率、鲁棒性指标模拟环境与真实场景混合第一层相当于高考各科单科成绩第二层相当于综合知识迁移能力第三层相当于社会实践能力。三层都强才配叫视觉通用智能。这种评测方案如果实现对整个领域的价值非常大。我甚至认为白皮书能否成功不取决于它提出多少新架构而取决于这套评测方案能不能被社区广泛接受。一旦评测标准立住了后续论文的含金量就有了统一锚点。5.3 Leaderboard 生态与社区共识评测方案要真正落地还需要配套的评分体系和社区运营。这就像学校光有考试卷还不够还要有统一阅卷标准和成绩排名。白皮书如果要推动 Leaderboard 生态至少需要考虑谁来维护评测代码和数据集版本开放提交还是受控提交怎么防止团队针对评测集过拟合不同任务之间的分数权重怎么设计这些都是听着简单、做起来麻烦的事情。我在之前做过一个小规模的多模态评测项目光是清洗数据和统一不同模型的输出格式就折腾了两个月。如果 VGI 白皮书后续真能推出一套被国际主流团队认可的评测协议那它就是为整个视觉社区做了一件大实事。6. 数据与基础设施容易被低估的主战场6.1 训练数据从哪里来视觉通用智能需要的数据规模远超传统监督学习。单靠人工标注根本不现实一个人一天才标注几百张图一个百万级数据集要耗费大量人力和资金。白皮书在这个议题上很可能重点讲四个数据来源互联网海量图文对从网页上抓取图片和对应 alt 文本、标题自动构建弱监督数据。CLIP 已经证明了这条路线的威力但它的问题在于数据噪声大需要过滤和质量控制。自监督信号让模型从图像本身生成监督信号比如 MAE 的随机掩码重建、对比学习里的正负样本区分。这类数据不依赖任何人工标注但是目标任务不明确需要后续微调来对齐。合成数据用游戏引擎或生成模型批量生成带精确标注的数据。这在自动驾驶领域已经非常成熟问题是如何保证仿真到真实的迁移效果。用户反馈数据类似 RLHF让用户对模型输出进行评分再通过强化学习优化模型。这个方向在白皮书里可能还比较前沿但长期看一定重要。6.2 数据配比与质量平衡一个被很多人忽视的问题训练数据不是越多越好而是比例要对。我自己训练多模态模型时遇到过一种情况——数据总量足够大但图文对里有大量重复的、低质量的灌水数据模型训练完感觉变笨了在细粒度识别任务上反而比小模型差。后来仔细排查才发现问题出在数据经过清洗后真实有效样本占比太低模型的表征学偏了。白皮书如果给出数据配比的实践指南我猜会强调三个原则高质量人工标注数据是锚不能完全靠弱监督数据替代任务分布要均匀不能让某些任务的数据量远超其他任务否则模型会偏向高频任务验证集必须和训练集有足够的分布差否则训练过拟合了都不知道6.3 算力与开源生态视觉通用智能模型的训练成本动辄几百万美元起步这个门槛已经高到普通实验室玩不起了。白皮书在基础设施方面的讨论很大程度上会围绕共同富裕的问题展开能不能设计更高效的训练策略降低对算力的依赖发布模型时是否应该同步发布蒸馏后的小模型开源数据、开源评测、开源权重怎么形成一个可持续的社区循环我记得 2024 年开源社区有几个视觉模型的生态做得非常好时不时的,如果他们能参与白皮书的讨论对整个开源社区也是个积极信号。毕竟 CVPR 的影响力摆在那里如果白皮书公开呼吁某些基础设施层面的标准下游的厂商和研究者大概率会跟进。7. 这次 VGI Workshop 值得关注的几个信号7.1 大牛阵容意味着什么你看到标题里写着众多大牛这不是噱头。CVPR Workshop 的 Speaker 阵容通常代表了该子领域的学术风向。VGI Workshop 能请到视觉领域多位顶级学者说明视觉通用智能已经从一个模糊的概念上升为学术界认可的主流研究方向。大牛们坐在一起往往不只是交流观点还会互相确认研究方向。这就意味着视觉通用智能的某些核心问题——比如评测标准、架构路线、数据规模——可能在未来两年内快速收敛。现在入局正好踩在领域爆发的起点上。7.2 论文征稿方向透露出的研究热点从 VGI Workshop 往年的征稿主题和今年的 Call for Papers 来看以下几个方向大概率会涌现大量投稿通用视觉感知的架构创新视觉-语言模型的可信推理与幻觉消除具身智能中视觉感知与决策的融合方案大规模视觉数据自动化构建通用视觉模型的评测方法论与基准设计高效训练与模型压缩技术如果你正在找研究方向我建议重点关注评测方法论和数据构建这两个相对没那么卷但极其重要的方向。因为新模型层出不穷但能讲清楚怎么测的工作永远是稀缺的。而且评测工作不需要像大模型训练那样烧钱做一个实验室级的基准也能发很好的论文。7.3 白皮书发布的潜在影响白皮书一旦正式发布影响会分成几个层面对学术研究者来说它给出了课题选择的地图避免大家重复造轮子对工业界来说它提供了技术选型的参考对学生来说它是进入这个领域最好的思维导图。甚至对于投资和产品规划白皮书的框架也有参考意义——至少它告诉大家视觉通用智能不是某个公司的单独游戏而是一场全行业协作的系统工程。8. 普通研究者怎么跟进实操建议与避坑指南8.1 入门视觉通用智能的技术路线很多刚入门的朋友问我想跟进视觉通用智能应该从哪里入手我给的建议是分四步走。第一步扎根经典视觉任务。不管通用智能多热门检测、分割、深度估计这些基础任务的理解不能丢。你连 mAP 是怎么算的都不清楚根本没法理解为什么通用模型在这个指标上会掉点。花三个月时间把一个最常见的视觉库比如 MMDetection吃透比你一上来就跑千亿参数大模型要划算得多。第二步吃透一个多模态大模型框架。选一个相对成熟的开源项目比如 LLaVA 或者 InternVL把它的训练代码、数据 pipeline、推理流程完整读一遍。你不需要自己从头训练但必须要能改代码、能跑推理、能调参数。这一步是攒手感的关键。第三步动手做一个小的综合项目。别贪大就做一个一个模型同时做检测和分割的小实验。你会发现很多有意思的问题两个任务的 Loss 怎么配重量共享的 Backbone 会不会特征冲突推理时如何处理不同输出头这些问题不做一遍永远体会不到。第四步复现白皮书讨论中的核心工作。等白皮书发布后把它提到的代表工作逐篇复现一遍。不是让你重新训练而是把推理流程跑通看看模型在标准数据集上实际表现如何。这能帮你建立对通用能力的直观认知比只看论文要深刻得多。8.2 做这个方向最常见的坑以我过去几年的经验做通用视觉方向最常见的问题有三个。坑一过早追求万能模型。上来就想做一个能处理 100 种任务的模型结果最基本的目标检测都做不好。正确的打开方式是先在 3-5 个任务上做到接近 SOTA再逐步扩展任务数量。通用性是扩出来的不是想出来的。坑二忽视评测设计。论文写完才发现评测实验做得不充分审稿人随便一问就答不上来。我学到的教训是在项目启动第一天就把评测方案写好数据准备好而不是等模型训练完再补。评测先行是效率最高的方式。坑三盲目追新架构。看到新架构就换框架结果所有时间都花在踩环境和 debug 上真正做研究的时间没多少。我的建议是选定一个主框架把它用透除非有非常明确的收益否则不要频繁迁移。8.3 如何利用 Workshop 和社区资源CVPR Workshop 本身就是社交和学习的重要场所。如果你是线上参与至少可以做这几件事提前把白皮书草案下载下来带上问题去听 Session目标明确效率最高留意 Workshop 推荐的开源代码和评测数据集第一时间试跑关注组织者团队实验室的 GitHub 主页通常会有配套的模型权重发布如果有条件多和 Poster 作者交流多听口头报告比闷头看视频有用得多如果你打算把这个方向作为自己的长期研究课题那更要主动参与社区讨论。CVPR 这类顶级会议的 Workshop 是一个小圈子混个脸熟可能比闷头做研究更快进入资源圈。9. 我对这份白皮书的期待与建议回到标题本身CVPR VGI Workshop 这份白皮书最让我期待的不是它提出什么新模型、新架构而是它能不能真正把视觉通用智能从一个被滥用的话题变成一个可以被严格检验的学术方向。作为一个常年和视觉模型打交道的工程师我见过太多号称通用的模型实际评测时只是把十几个数据集的结果放在一起每个都挑最好的版本跑这种自说自话的评测没有说服力。希望白皮书能真正推动形成一套中立、可复现、被广泛接受的评测协议。只要这个底座立住视觉通用智能的发展速度会比现在快得多。如果你也想跟进这件事我的建议很简单别只做观众动手选一个小方向参与进去。不管是做评测、做数据、做一个小模型实验都比旁观有价值一百倍。相信我这个领域接下来两到三年的变化会比很多人预想的都要快。到时候回头再看你今天花时间了解这份白皮书会是性价比极高的一次投入。 CVPR VGI白皮书深度解读：视觉通用智能的技术路线与评测体系
1. 写在前面我为什么盯上这份 VGI 白皮书这两年只要跟视觉方向的朋友聊天基本绕不开一个词视觉通用智能。从 CVPR 上的 Oral 论文到各大厂实验室的 Demo大家都在往一个模型处理所有视觉任务这个方向挤。2026 年 CVPR 的 VGI WorkshopVisual General Intelligence Workshop就是在这个背景下出现的组织阵容里几乎把视觉领域叫得上名字的大牛都凑齐了目标是发布一份系统性的视觉通用智能白皮书。我在这个领域算是半路出家早年做目标检测和分割后来转做多模态大模型中间也踩过不少坑。看到这份白皮书的提纲草案时第一反应是终于有人愿意把散落在各个论文里的通用视觉概念、路线图、评测口径拿出来做一次系统性整理了。以前大家各说各话你说通用我说泛化指标不统一、任务不统一、评价标准也不统一导致很多工作根本没法横向比。白皮书想解决的恰恰是这些问题。所以这篇博文不是简单帮你划重点而是把白皮书背后的核心思路拆开揉碎结合我自己做视觉模型的实际经验讲清楚这几件事视觉通用智能到底要解决什么、关键技术路线有哪些、评测和数据集为什么是真正的胜负手以及普通研究者怎么借着这次的东风找到自己的切入点。不管你是在校学生、工业界算法工程师还是刚转行想做视觉大模型的这篇都值得耐心看完。2. 视觉通用智能到底是什么先厘清概念边界2.1 从一个模型一个任务到一个模型所有任务先聊个基础问题视觉通用智能和我们平时说的视觉理解多模态大模型有什么区别传统视觉 AI 的套路是一个萝卜一个坑——训练一个车型识别模型就只能识别车型训练一个缺陷检测模型就只能看缺陷。哪怕你用同一个骨干网络Backbone下游也要接不同的 Head 和 Loss。这种方式在小场景里好用但换个数据集、换个任务往往要从头调参甚至从头训练泛化能力非常有限。视觉通用智能的目标完全不同训练一个基础模型让它能同时处理检测、分割、深度估计、姿态估计、图像生成、视频理解等几十上百种任务而且在新任务上不需要重新训练给几个样例甚至一句话描述就能零样本或少样本迁移。这个思路和 GPT 系列在 NLP 领域做的事情类似——先在一个超大语料上学到通用知识再在下游任务上大幅减少微调成本。但视觉比语言复杂得多。语言是离散符号天然有统一编码方式图像的像素分布、物体尺度、光照条件、视角变化、任务输出结构千差万别。这就是为什么视觉通用智能一直落后于语言大模型的进展也是这次白皮书想重点讨论的难点。2.2 VGI 与 AGI 的关系不是简单的视觉版 AGI白皮书里有一个很重要的表述VGI 不等于 AGI但它是 AGI 不可或缺的感知底座。人对外部世界的理解超过 80% 的信息来自视觉。如果大模型没有强大的视觉理解能力它就像一个人闭着眼睛做推理天花板很低。但 VGI 又不仅仅是看图说话。白皮书强调的通用智能指的是模型需要具备感知能力识别和理解图像/视频中的物体、场景、关系、动作推理能力基于视觉信息进行空间推理、因果推理、常识推理生成能力根据文字或视觉条件生成新的图像/视频内容交互能力在具身环境中通过视觉感知驱动行动如机器人抓取、导航学习能力在少量样本甚至零样本下快速适应新任务这五个维度叠加在一起才构成通用的完整含义。只看其中任何一项都不足以叫视觉通用智能。所以以后看到有人把能检测 1000 类物体说成是通用智能可以直接判断这是在偷换概念。2.3 从感知到认知核心能力分层拆解这个五维能力如果展开来看白皮书的路线图基本是把视觉智能分成了三个层次第一层像素级理解。这是当前最成熟的层级包括分类、检测、分割、深度估计等。模型输入的是像素输出的也是和像素对齐的结构化结果。这一层解决的问题是看见。第二层语义级理解。模型输出的是概念、关系、逻辑比如这个人在骑自行车自行车是蓝色的人和车的相对位置是怎样的。这一层解决的是看懂。现在很多多模态大模型如 GPT-4V、Gemini 系列已经做到了这一步但仍然不够稳定复杂场景下会出错。第三层认知与决策。模型不仅能看懂还能根据视觉信息做规划、决策和行动。比如机械臂看到一个杯子知道怎么绕开障碍物去抓它抓的时候用多大力度抓完放到哪里。这一层解决的是用起来也是具身智能Embodied AI的核心。白皮书把这一层列为长期目标短期内不太可能彻底解决。我个人的判断是未来两年内第一层和第二层的边界会逐渐模糊统一的视觉骨干网络会在更多任务上替代专用模型第三层短期内还是研究热点离产品化有一段距离。白皮书的价值在于把这三个层次放入同一个坐标系让研究者清楚自己工作在哪个阶段、还需要补什么能力。3. 白皮书在下一盘什么棋核心框架与目标3.1 为什么 CVPR 需要一个 VGI 白皮书CVPR 的 Workshop 历来是两个作用展示最新研究趋势、制定领域共识。VGI Workshop 想做的明显是后者。视觉通用智能这个词其实已经火了两三年但一直缺乏一个官方或半官方的定义框架。你在论文里搜 Generalist Vision Model能找到很多相关工作比如 Pix2Seq、UniT、Florence、SAM、OmniGlue 等等各自的设计思路千差万别有的走统一输出空间路线把检测、分割、姿态估计都建模成序列生成问题有的走Transformer 架构 多任务微调路线任务之间共享参数但保留专家模块有的走图像级标记路线把像素和语言模型直接对齐还有的走世界模型路线强调视频预测和空间理解这些路线各有道理但评价标准和评测数据不统一导致谁更接近通用智能这个问题根本没有明确答案。白皮书如果能给出一个统一的能力评估维度和评测协议对整个领域来说都是重大利好。3.2 白皮书的核心框架能力轴、任务轴、数据轴从目前流出的草案和 Workshop 征稿启事来看白皮书拟围绕三条主轴线搭框架能力轴把上面的五维能力再细化成可操作的评估项比如细粒度识别准确率、在遮挡条件下的鲁棒性、零样本分割的 IoU、多任务迁移的遗忘率等。每个评估项对应一组数据集和测试协议。任务轴把所有视觉任务分门别类从底层感知任务到高层认知任务再到具身交互任务构成一张视觉任务图谱。模型能覆盖的任务种类越多、性能越接近专用模型就认为通用性越强。数据轴讨论训练数据规模、数据多样性、数据配比、数据生成等。白皮书想推动的一个关键点是视觉通用智能的下一阶段突破可能不是靠更大的模型参数量而是靠更高质量、更多模态对齐的训练数据。这三条轴合在一起很像学术界给视觉通用智能画的一张坐标系。每个团队的工作都可以放进这张图里定位判断自己是卡在能力短板、任务覆盖不够还是数据质量不行。这种坐标系思维对研究选题非常有指导意义。3.3 对产业界的价值溢出这份白皮书虽然是学术导向的但产业价值非常大。原因很简单如果评测标准统一了产业链上下游就能对齐。比如做智能安防的公司以前说自己模型通用客户没法验证如果有一套权威的 VGI 评测基准客户可以拿同一套任务集去测多家模型谁强谁弱一目了然。做自动驾驶的团队也长期困扰于感知模型在不同城市、不同天气下的泛化问题VGI 的任务轴如果能覆盖这类极端场景对模型选型也有参考意义。我在和几个工业界朋友聊这事时大家的共识是白皮书最大的作用不是提出一个惊艳的新模型而是把散落的需求、标准、评测集合到一个共同的框架里。这种基础设施的工作往往比单点技术突破更有长期价值。4. 从感知到行动VGI 的关键技术路线4.1 统一模型架构的三种流派白皮书的核心议题之一是什么样的架构才能支撑通用视觉能力。梳理下来目前主要流派有以下三种。第一种统一输出空间流派Unified Output Space。代表工作是 Pix2Seq 系列。思路是把所有视觉任务检测、分割、姿态、深度都当作序列到序列问题输出统一离散化成序列 token。优点是架构简单不需要为每个任务设计特定 Head缺点是在高分辨率像素级任务上计算量大精度损失明显。第二种混合专家流派Mixture of Experts。代表是微软的 Florence 和谷歌的 UniT。主干网络共享每个任务或每组相关任务挂独立的专家模块通过路由机制选择合适的专家。优点是每个任务保留一定专属能力不容易出现多任务相互干扰缺点是专家路由的训练复杂度高而且专家数量增加会带来部署时显存压力。第三种通用感知 语言接口流派Perception Language Interface。这是目前最热门的路线典型代表是 GPT-4V、LLaVA 系列、InternVL 等。做法是把视觉编码器输出的特征直接拼接到语言模型的 token 序列里让语言模型在理解视觉特征的同时生成答案。这条路线的最大优势是白捡了语言大模型的推理和指令跟随能力但缺点是容易产生幻觉在像素级精确任务上天生吃亏。三条路线我都有过实际使用经验。如果需要做产品原型第三条最快因为生态最成熟如果追求像素级精度第一条或第二条可能更适合。白皮书如果想给出架构方面的推荐很可能会建议混合方案——视觉主干用统一架构任务输出按场景灵活切换而不是押注某一条单一技术路线。4.2 任务间的迁移与遗忘问题做过多任务学习的人都知道迁移和遗忘是绕不开的坎。模型学完新任务后旧任务的性能会下降这个现象叫灾难性遗忘Catastrophic Forgetting。在视觉通用智能场景下这个问题被放大了因为任务类型跨度非常大分割和生成、检测和姿态估计之间的共享表征非常有限。我自己的一个教训是早年做多任务模型时天真地把所有任务的 Loss 简单加和结果训练完检测指标上去了分割指标掉得一塌糊涂。后来用了任务特定的 Loss 权重自动调节策略类似 Uncertainty Weighting才把两个任务平衡住。这个经验可以通用——多任务训练不是简单地加 Loss需要一个动态调节机制。白皮书大概率会对这个问题给出系统性的建议比如渐进式训练先训底层视觉能力再逐步叠加高层任务回放缓冲在训练新任务时采样旧任务数据一起训参数隔离为重要任务保留专用参数冻结共享部分这些方法不是新技术难点在于如何在超大规模视觉模型上工程化落地。这也是学术研究和工程实现之间的鸿沟。4.3 长尾任务与开放世界真实世界的视觉任务分布是极端长尾的。常见任务占了 90% 的训练量但实际场景里层出不穷的是那 10% 的稀有情况——低光照、极端角度、罕见物体、遮挡严重。视觉通用智能能不能在开放世界里站住脚关键就看长尾任务的泛化能力。白皮书在这个议题上可能会强调三点测试集必须包含足够多的分布外样本来验证模型泛化性少样本学习Few-shot Learning和提示学习Prompt Learning应该在评测中占有重要权重允许模型在推理时通过在线自监督学习新任务而不是完全依赖静态权重这和我们做工程是一样的道理——线上模型最怕的不是已知场景性能下降而是突发的新场景直接崩掉。通用智能如果连长尾都解决不了那通用就是空话。5. 评测体系视觉通用智能的考卷怎么出5.1 现有评测基准的三大缺陷白皮书花了很大篇幅讨论评测这恰恰是业内最有争议、最需要整合的部分。现有评测基准的三大缺陷非常明显缺陷一任务孤立。GLUE 那样只测语言理解或者只用 COCO 测检测、只用 ADE20K 测分割这种单一任务基准线根本无法反映通用能力。真正通用的模型应该在多个任务间共享知识但现有基准根本测不出这种共享效果。缺陷二指标不统一。检测用 mAP分割用 mIoU深度估计用 RMSE姿态估计用 PCK每个任务一把尺子。模型 A 检测强、模型 B 分割强你告诉我谁更通用没有标准答案。缺陷三静态数据集。现在的评测集都是离线标注好的模型在训练时可能已经见过类似分布的数据存在数据泄漏风险。开放世界里的在线评测、动态评测几乎空白。5.2 白皮书可能给出的评测方案结合 VGI Workshop 征稿中的提示我猜测白皮书会推动一个三层评测框架评测层级评价内容示例指标数据来源基础能力层单任务性能mAP, mIoU, RMSE现有标准数据集跨任务迁移层新任务学习效率少样本准确率、微调所需数据量、遗忘率新构建的跨任务基准开放认知层推理与决策能力视觉问答准确率、具身任务成功率、鲁棒性指标模拟环境与真实场景混合第一层相当于高考各科单科成绩第二层相当于综合知识迁移能力第三层相当于社会实践能力。三层都强才配叫视觉通用智能。这种评测方案如果实现对整个领域的价值非常大。我甚至认为白皮书能否成功不取决于它提出多少新架构而取决于这套评测方案能不能被社区广泛接受。一旦评测标准立住了后续论文的含金量就有了统一锚点。5.3 Leaderboard 生态与社区共识评测方案要真正落地还需要配套的评分体系和社区运营。这就像学校光有考试卷还不够还要有统一阅卷标准和成绩排名。白皮书如果要推动 Leaderboard 生态至少需要考虑谁来维护评测代码和数据集版本开放提交还是受控提交怎么防止团队针对评测集过拟合不同任务之间的分数权重怎么设计这些都是听着简单、做起来麻烦的事情。我在之前做过一个小规模的多模态评测项目光是清洗数据和统一不同模型的输出格式就折腾了两个月。如果 VGI 白皮书后续真能推出一套被国际主流团队认可的评测协议那它就是为整个视觉社区做了一件大实事。6. 数据与基础设施容易被低估的主战场6.1 训练数据从哪里来视觉通用智能需要的数据规模远超传统监督学习。单靠人工标注根本不现实一个人一天才标注几百张图一个百万级数据集要耗费大量人力和资金。白皮书在这个议题上很可能重点讲四个数据来源互联网海量图文对从网页上抓取图片和对应 alt 文本、标题自动构建弱监督数据。CLIP 已经证明了这条路线的威力但它的问题在于数据噪声大需要过滤和质量控制。自监督信号让模型从图像本身生成监督信号比如 MAE 的随机掩码重建、对比学习里的正负样本区分。这类数据不依赖任何人工标注但是目标任务不明确需要后续微调来对齐。合成数据用游戏引擎或生成模型批量生成带精确标注的数据。这在自动驾驶领域已经非常成熟问题是如何保证仿真到真实的迁移效果。用户反馈数据类似 RLHF让用户对模型输出进行评分再通过强化学习优化模型。这个方向在白皮书里可能还比较前沿但长期看一定重要。6.2 数据配比与质量平衡一个被很多人忽视的问题训练数据不是越多越好而是比例要对。我自己训练多模态模型时遇到过一种情况——数据总量足够大但图文对里有大量重复的、低质量的灌水数据模型训练完感觉变笨了在细粒度识别任务上反而比小模型差。后来仔细排查才发现问题出在数据经过清洗后真实有效样本占比太低模型的表征学偏了。白皮书如果给出数据配比的实践指南我猜会强调三个原则高质量人工标注数据是锚不能完全靠弱监督数据替代任务分布要均匀不能让某些任务的数据量远超其他任务否则模型会偏向高频任务验证集必须和训练集有足够的分布差否则训练过拟合了都不知道6.3 算力与开源生态视觉通用智能模型的训练成本动辄几百万美元起步这个门槛已经高到普通实验室玩不起了。白皮书在基础设施方面的讨论很大程度上会围绕共同富裕的问题展开能不能设计更高效的训练策略降低对算力的依赖发布模型时是否应该同步发布蒸馏后的小模型开源数据、开源评测、开源权重怎么形成一个可持续的社区循环我记得 2024 年开源社区有几个视觉模型的生态做得非常好时不时的,如果他们能参与白皮书的讨论对整个开源社区也是个积极信号。毕竟 CVPR 的影响力摆在那里如果白皮书公开呼吁某些基础设施层面的标准下游的厂商和研究者大概率会跟进。7. 这次 VGI Workshop 值得关注的几个信号7.1 大牛阵容意味着什么你看到标题里写着众多大牛这不是噱头。CVPR Workshop 的 Speaker 阵容通常代表了该子领域的学术风向。VGI Workshop 能请到视觉领域多位顶级学者说明视觉通用智能已经从一个模糊的概念上升为学术界认可的主流研究方向。大牛们坐在一起往往不只是交流观点还会互相确认研究方向。这就意味着视觉通用智能的某些核心问题——比如评测标准、架构路线、数据规模——可能在未来两年内快速收敛。现在入局正好踩在领域爆发的起点上。7.2 论文征稿方向透露出的研究热点从 VGI Workshop 往年的征稿主题和今年的 Call for Papers 来看以下几个方向大概率会涌现大量投稿通用视觉感知的架构创新视觉-语言模型的可信推理与幻觉消除具身智能中视觉感知与决策的融合方案大规模视觉数据自动化构建通用视觉模型的评测方法论与基准设计高效训练与模型压缩技术如果你正在找研究方向我建议重点关注评测方法论和数据构建这两个相对没那么卷但极其重要的方向。因为新模型层出不穷但能讲清楚怎么测的工作永远是稀缺的。而且评测工作不需要像大模型训练那样烧钱做一个实验室级的基准也能发很好的论文。7.3 白皮书发布的潜在影响白皮书一旦正式发布影响会分成几个层面对学术研究者来说它给出了课题选择的地图避免大家重复造轮子对工业界来说它提供了技术选型的参考对学生来说它是进入这个领域最好的思维导图。甚至对于投资和产品规划白皮书的框架也有参考意义——至少它告诉大家视觉通用智能不是某个公司的单独游戏而是一场全行业协作的系统工程。8. 普通研究者怎么跟进实操建议与避坑指南8.1 入门视觉通用智能的技术路线很多刚入门的朋友问我想跟进视觉通用智能应该从哪里入手我给的建议是分四步走。第一步扎根经典视觉任务。不管通用智能多热门检测、分割、深度估计这些基础任务的理解不能丢。你连 mAP 是怎么算的都不清楚根本没法理解为什么通用模型在这个指标上会掉点。花三个月时间把一个最常见的视觉库比如 MMDetection吃透比你一上来就跑千亿参数大模型要划算得多。第二步吃透一个多模态大模型框架。选一个相对成熟的开源项目比如 LLaVA 或者 InternVL把它的训练代码、数据 pipeline、推理流程完整读一遍。你不需要自己从头训练但必须要能改代码、能跑推理、能调参数。这一步是攒手感的关键。第三步动手做一个小的综合项目。别贪大就做一个一个模型同时做检测和分割的小实验。你会发现很多有意思的问题两个任务的 Loss 怎么配重量共享的 Backbone 会不会特征冲突推理时如何处理不同输出头这些问题不做一遍永远体会不到。第四步复现白皮书讨论中的核心工作。等白皮书发布后把它提到的代表工作逐篇复现一遍。不是让你重新训练而是把推理流程跑通看看模型在标准数据集上实际表现如何。这能帮你建立对通用能力的直观认知比只看论文要深刻得多。8.2 做这个方向最常见的坑以我过去几年的经验做通用视觉方向最常见的问题有三个。坑一过早追求万能模型。上来就想做一个能处理 100 种任务的模型结果最基本的目标检测都做不好。正确的打开方式是先在 3-5 个任务上做到接近 SOTA再逐步扩展任务数量。通用性是扩出来的不是想出来的。坑二忽视评测设计。论文写完才发现评测实验做得不充分审稿人随便一问就答不上来。我学到的教训是在项目启动第一天就把评测方案写好数据准备好而不是等模型训练完再补。评测先行是效率最高的方式。坑三盲目追新架构。看到新架构就换框架结果所有时间都花在踩环境和 debug 上真正做研究的时间没多少。我的建议是选定一个主框架把它用透除非有非常明确的收益否则不要频繁迁移。8.3 如何利用 Workshop 和社区资源CVPR Workshop 本身就是社交和学习的重要场所。如果你是线上参与至少可以做这几件事提前把白皮书草案下载下来带上问题去听 Session目标明确效率最高留意 Workshop 推荐的开源代码和评测数据集第一时间试跑关注组织者团队实验室的 GitHub 主页通常会有配套的模型权重发布如果有条件多和 Poster 作者交流多听口头报告比闷头看视频有用得多如果你打算把这个方向作为自己的长期研究课题那更要主动参与社区讨论。CVPR 这类顶级会议的 Workshop 是一个小圈子混个脸熟可能比闷头做研究更快进入资源圈。9. 我对这份白皮书的期待与建议回到标题本身CVPR VGI Workshop 这份白皮书最让我期待的不是它提出什么新模型、新架构而是它能不能真正把视觉通用智能从一个被滥用的话题变成一个可以被严格检验的学术方向。作为一个常年和视觉模型打交道的工程师我见过太多号称通用的模型实际评测时只是把十几个数据集的结果放在一起每个都挑最好的版本跑这种自说自话的评测没有说服力。希望白皮书能真正推动形成一套中立、可复现、被广泛接受的评测协议。只要这个底座立住视觉通用智能的发展速度会比现在快得多。如果你也想跟进这件事我的建议很简单别只做观众动手选一个小方向参与进去。不管是做评测、做数据、做一个小模型实验都比旁观有价值一百倍。相信我这个领域接下来两到三年的变化会比很多人预想的都要快。到时候回头再看你今天花时间了解这份白皮书会是性价比极高的一次投入。