一句话找出图中所有目标：SAM 3 概念分割模型上手指南

【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3

🛒 对着后备箱的照片说一句“把所有纸袋圈出来”，模型就能逐个给出像素级分割掩码——这是 Meta 开源的SAM 3（Segment Anything Model 3）的核心能力。它把“按文本概念找目标”和“在视频里持续追踪”合进同一个模型，总参数848M。

一页看懂：SAM 3 是做什么的、适合谁用

SAM 1/2 属于“交互式”模型：你得用点或框去指一个目标，一次只能处理一个。SAM 3 多了一条更直接的入口——输入一个概念短语（比如 "a baguette"），它能把画面中所有符合该概念的实例全部找出来，从“逐个点”变成“全都要”。

它同时覆盖图片和视频，也接受点、框、掩码提示，所以既服务开放式词汇检测的用法，也兼容前代交互式任务。

文本提示如何变成掩码：SAM 3 的完整处理流程

以文本提示为例，流程是“输入 → 融合 → 输出”：文本编码器把短语变成语义向量，ViT 视觉编码器把图像变成特征图，检测器（DETR 架构）融合两者后输出候选框和实例掩码；视频场景则由继承自 SAM 2 的tracker（transformer encoder-decoder）借助历史帧记忆跨帧追踪，中途还能继续点选精修。

关键设计是检测器与跟踪器解耦、共享同一个视觉编码器：检测负责“找”，跟踪负责“跟”，互不拖累。

相比 SAM 2，SAM 3 改动了哪三处

• 开放词汇穷尽分割：能理解大得多的文本提示集合，在新 SA-Co 基准上达到人类表现的 75%–80%；
• presence token：模型内置“目标存在与否”的判断，能区分 "a player in white" 和 "a player in red" 这类容易混淆的近义短语；
• SAM 3.1 Object Multiplex⚡（2026 年 3 月发布）：原视频流水线逐个对象处理，耗时随对象数线性增长；新机制把多个对象分批共享记忆处理，单张 H100 上 128 个对象提速约7 倍且精度不降。

SA-Co 数据集：27 万概念是怎么标注出来的

能力背后是数据引擎：它自动标注了 400 万+ 唯一概念，是目前最大的开放词汇分割数据。配套发布的 SA-Co 基准包含27 万唯一概念，规模超过现有基准 50 倍；每对“图像 × 名词短语”都标注了实例掩码和唯一 ID，并按图像 Gold、图像 Silver、视频 VEval 三档划分。

5 分钟装好 SAM 3：环境要求与第一条命令

要求：Python 3.12+、PyTorch 2.7+、CUDA 12.6+ 的 GPU。先在 Hugging Face 的facebook/sam3仓库申请 checkpoint 访问权限，再执行hf auth login登录。

conda create -n sam3 python=3.12 && conda activate sam3 pip install torch==2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu128 git clone https://gitcode.com/gh_mirrors/sam/sam3 && cd sam3 pip install -e ".[notebooks]"

图片流程只有几行：加载模型 →set_image载入图片 →set_text_prompt下提示，拿到masks, boxes, scores。视频同理：build_sam3_video_predictor()建会话（MP4 或帧文件夹都行），add_prompt一次即开始追踪。

第一次跑建议直接打开 examples/sam3_image_predictor_example.ipynb，顺后再进视频示例；遇到一句话说不清的复杂提示，试试sam3_agent.ipynb。✅

【免费下载链接】sam3The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/gh_mirrors/sam/sam3