简介YOLOv11多任务学习目标检测与实例分割联合训练框架详解.pdf 是一份面向CV算法工程师与研究者的PDF教程系统讲解YOLOv11在目标检测与实例分割联合训练中的完整方案旨在解决多任务场景下特征共享、损失平衡与训练效率等问题。文档共52页约2.18MB支持目录跳转与左侧大纲快速定位阅读体验流畅。内容从YOLO发展历程、多任务学习原理出发逐步深入到联合训练框架设计、特征提取网络、多任务分支结构、损失函数设计、数据集准备、训练优化策略以及COCO/VOC等数据集上的实验对比章节结构清晰其中对加权损失、动态加权、Focal/GIoU/Dice等损失也有展开。既适合初学者理解单阶段检测与分割联合训练的思路也能指导已有基础者按章节复现和调优。资源包内仅1个PDF文件便于携带阅读目前已有274人学习适合安防监控、自动驾驶、工业检测等方向的算法从业者参考。 做视觉项目最怕什么不是调参调到吐而是好不容易训好的检测模型隔壁分割实验又要重新跑一遍。我在做机器人抓取项目时碰到过这个实际问题——既要框出目标物又想知道目标物的像素级轮廓。以前的做法是拆成两步先跑一个YOLO模型做目标检测再把检测框裁剪出来喂给分割模型流程绕、耗时长误差还会一层层传导。后来我把目光放到YOLOv11的多任务能力上直接把目标检测和实例分割塞进同一个框架联合训练一个模型同时输出检测框和分割掩码效果明显简化了整个流程。这篇文章就把我基于YOLOv11做多任务联合训练的思路、框架设计、实操配置和踩过的坑一次性讲清楚。内容覆盖网络结构改动、损失函数设计、标签数据准备、训练参数调优、评价指标解读和推理结果保存适合正在做检测加分割联合任务的开发者或者想了解YOLOv11新特性但不知道从哪下手的同学参考。1. 项目背景为什么要把两个任务绑在一起训练1.1 从“堆两个模型”到“一个模型干两件事”很多刚接触视觉任务的开发者会有一个惯性思维目标检测和实例分割是两门独立技术分开做、分开调、分开部署。但是实际落地场景里这两件事往往同时发生。拿我最近做的工业零件分拣项目举例机器人需要先识别传送带上的零件位置检测再根据轮廓形状判断抓取角度分割。如果拆成两个模型推理阶段先检测后裁剪再分割单帧处理时间直接翻倍生产线节拍根本跑不起来。更麻烦的是误差累积——检测框稍微偏一点裁剪出来的区域就带上了大量背景噪声分割质量跟着崩。多任务学习Multi-Task Learning解决的就是这个问题让主干网络同时学习检测和分割两类监督信号特征提取层是共享的任务分支各管一摊。这样做有三个直观好处速度更快只用一次前向传播就能拿到两类结果省掉串行推理的开销。特征更鲁棒分割分支的像素级监督信息能反哺检测分支让目标框定位更精准反之亦然。维护成本低训练、部署、版本管理都只需要维护一套模型。我实测同一个场景下联合训练模型的mAP50比单独训练的检测模型能高出1到2个百分点尤其在边缘模糊、遮挡比较严重的样本上优势更明显。1.2 YOLOv11的底子为什么适合联合训练YOLOv11是YOLO系列里第一个原生把检测、分割、姿态估计、旋转目标检测等多个任务统一到一套架构上的版本。网络结构上用C3k2模块替换了之前的C2f引入C2PSA注意力模块在保持轻量化的前提下提升了特征表达能力结构上天然适合多任务扩展。另一个关键点是它的解耦检测头设计。YOLOv11在v8解耦头的基础上做了进一步改进分类分支和回归分支完全拆开每个分支独立输出置信度和坐标。这种设计给分割任务的接入留了足够的改造空间——我只需要在回归分支旁边并列加一个mask分支输出mask系数再与特征图上的原型掩码做组合就能生成最终的分割结果。从实操角度说Ultralytics官方已经提供yolov11-seg系列预训练权重这意味着我不需要从零训练而是可以站在官方在大规模数据集上训练好的特征基础上做微调fine-tune收敛速度快最终精度也高得多。这个“站在巨人肩膀上”的起点是选择YOLOv11做联合训练的一个很现实的原因。2. 框架设计检测与分割如何在同一个模型里共存2.1 共享主干与任务分支的分工整个框架可以拆成三块来看Backbone主干网络、Neck特征融合层、Head任务输出头。输入图像先经过Backbone提取多尺度特征图再由NeckPAN-FPN结构做自顶向下和自底向上的特征融合把浅层的细节信息和深层的语义信息混合在一起。检测和分割在Head部分开始分叉。检测分支沿用YOLOv11的解耦头输出分类概率和边界框回归参数分割分支独立出一个mask分支输出的是掩码系数mask coefficients同时Neck的特征图会经过一个proto层生成一组原型掩码prototype masks。推理时将mask系数与原型掩码做矩阵乘法再经过sigmoid激活就得到每个实例的像素级掩码。这个设计思路和YOLACT系列一脉相承好处是分割分支不需要额外增加高分辨率特征图的全卷积解码器计算量增加得很有限模型依然能保持实时推理速度。我第一次跑通时还担心分割质量会不会缩水实测下来对轮廓不算特别复杂的物体掩码边缘质量相当能打。如果要在yaml配置文件层面改造模型核心是调整head部分的输出维度。官方yolov11-seg.yaml里已经有完整的定义其中nc是类别数namp是掩码原型数量默认32新增的seg分支就是在常规检测头输出旁边多拼接一组形状为(4nc32)的输出。这个数值对应的是4个框坐标参数、nc个类别概率和32个掩码系数。2.2 每项损失怎么凑到一起多任务学习成败的关键之一就是损失函数配比。YOLOv11联合训练的总损失由三块组成分类损失判断每个预测框的类别是否正确常用BCE或交叉熵。回归损失衡量预测框与真实框的重合程度包含CIoU损失和DFL损失。分割损失衡量预测掩码与真实掩码的差异YOLOv11里用的是BCE损失把每个像素点当作二分类问题处理。训练时总损失是这三部分的加权和。Ultralytics默认的权重配比经过大量实验验证通常不需要做太大改动但我在小数据集上遇到过分割损失过小、模型偏向检测、掩码粗糙的问题这时可以手动调高分割损失的权重或者干脆冻结检测分支只训练分割头几个epoch。实际操作中我是这样处理的# 在训练代码中调整损失权重示意 model.train( datamy_dataset.yaml, epochs100, imgsz640, # 通过配置参数覆盖默认损失权重 box7.5, # 回归损失权重 cls0.5, # 分类损失权重 dfl1.5, # DFL损失权重 seg1.0 # 分割损失权重需要修改源码或使用支持该参数的版本 )注意不同版本Ultralytics对seg权重暴露方式不太一样有些版本需要直接修改loss.py里的权重常量。我的经验是先跑一版默认配置观察训练日志里各类损失的数值量级如果分割损失的数值比其他损失小了几个数量级就说明它的贡献被淹没了需要适当加大权重。2.3 标签数据检测和分割的标注必须同时存在这是最容易被忽视的一环。多任务联合训练要求每个训练样本同时具备检测标签边界框和分割标签多边形或掩码缺一个都会导致训练报错或该任务的梯度为0。我习惯用COCO格式组织数据。COCO的标注文件里每一条annotation既包含bbox字段框坐标也包含segmentation字段多边形顶点或RLE编码。写数据集配置文件时路径要指到包含annotations目录的dataset根目录# my_dataset.yaml path: /data/my_dataset train: images/train val: images/val names: 0: bottle 1: box 2: cap如果手里只有检测标注想补分割标注我建议用LabelMe或X-AnyLabeling这类工具做半自动打点效率比纯手工画多边形高很多。另外提醒一句数据标注质量直接决定最终掩码质量多边形顶点太稀疏会让边缘出现明显的锯齿。3. 训练与推理完整跑通一个多任务模型3.1 环境配置的几个现实问题YOLOv11的训练环境最核心的依赖是PyTorch和Ultralytics库。官方推荐Python 3.8以上PyTorch 1.8以上但我的实测建议是直接上PyTorch 2.0以上版本训练速度和显存效率会好不少。GPU是必须的吗我的回答是小数据集、小模型可以用CPU跑但没人愿意为一个几百张图片的数据集等上半天。分割分支的额外计算量让全连接层和卷积层的显存占用比纯检测模型高出不少以yolov11n-seg为例输入640x640、batch size为8时大约需要6到8GB显存。如果你手头只有老显卡可以降低batch size到2或4配合梯度累积照样能训练。环境配置这里给个可以直接抄的清单conda create -n yolov11 python3.10 -y conda activate yolov11 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics装完以后跑一句yolo predict sourcehttps://ultralytics.com/images/bus.jpg modelyolov11n-seg.pt验证环境没问题再去准备数据。3.2 训练参数与小目标优化多任务训练的启动命令非常简单选对预训练权重是第一步。如果做通用目标检测加分割直接下载yolov11n-seg.pt或yolov11s-seg.pt即可如果任务场景和COCO差异很大我建议先用官方权重在自有数据上做迁移学习而不是从随机初始化开始。yolo train modelyolov11s-seg.pt datamy_dataset.yaml epochs200 imgsz640 batch8跑起来之后有几个参数值得重点关注。imgsz也就是输入分辨率直接影响小目标检测和分割精度。默认640如果你的目标在图像里只占几十个像素我建议提高到960甚至1280代价是训练时间变长、显存占用增加。batch大小影响训练稳定性显存不够就调小但别太小不然BN层的统计量波动大会导致不收敛。小目标优化是我在这类项目里花了最多时间的一件事。除了提高分辨率还有一个思路是在yaml里增加P2检测头让网络在更浅、更细粒度的特征图上进行预测。不过增加P2头会让计算量显著上升需要权衡。另一个很实用的方法是数据增强打开Ultralytics的mosaic、mixup、copy_paste增强能让模型在训练时“看到”更多小目标上下文对于分割任务copy_paste增强效果尤其好因为它直接把目标实例连像素带标签复制到新图上。3.3 推理结果怎么保存训练完模型紧接着就是推理和结果保存。我遇到过不少朋友训练完不知道怎么把结果存下来只会在终端里看可视化图。YOLOv11的predict命令提供了非常完整的保存选项yolo predict modelruns/segment/train/weights/best.pt sourcetest_images \ saveTrue \ # 保存标注了检测框和掩码的可视化图片 save_txtTrue \ # 保存每张图的检测框和类别标签txt save_cropTrue \ # 保存裁剪出的目标区域 showTrue # 实时显示推理结果如果你用的是Python API结果对象里还藏着更多信息。result.boxes里可以拿到边界框坐标、置信度和类别result.masks里是分割掩码的数据可以转换成numpy数组后直接用来做后续的图像处理或量化分析。我把掩码转成二值图后计算目标像素面积用来辅助做良品率判断效果很好。from ultralytics import YOLO import numpy as np model YOLO(runs/segment/train/weights/best.pt) results model.predict(test.jpg, saveTrue, save_txtTrue) for result in results: if result.masks is not None: mask result.masks.data[0].cpu().numpy() # 第一个实例的掩码 area int(mask.sum()) print(ftarget pixel area: {area})4. 评价指标检测和分割各看什么4.1 目标检测的“考试标准”目标检测任务里最常挂在嘴边的指标就是mAPmean Average Precision。mAP的核心逻辑并不复杂但要真正看明白训练日志必须理解几个前置概念IoU交并比预测框和真实框的重叠程度IoU越高说明定位越准。Precision精确率检测出的目标里真正目标的占比衡量“查得准不准”。Recall召回率所有真实目标里被检测出来的占比衡量“找得全不全”。AP以Precision为纵轴、Recall为横轴画PR曲线曲线下面积就是AP综合反映模型在不同置信度阈值下的表现。对每个类别都算一个AP取平均值就是mAP。在Ultralytics训练日志里你会看到mAP50和mAP50-95。mAP50是IoU阈值取0.5时的mAP这是最常用、也最适合快速比较模型好坏的指标mAP50-95是把IoU阈值从0.5按0.05的步长加到0.95共测10个不同IoU阈值后取平均数值更严格也能更真实地反映定位精度。我自己做项目时mAP50作为验收底线mAP50-95作为优化方向。4.2 实例分割指标与检测指标有什么不同实例分割的评价思路和检测基本一致只是把“边界框”换成了“像素掩码”。核心指标是mask AP计算时使用的IoU不再是两个框的重叠面积而是两个二进制掩码的交集除以并集。实操中有一个值得注意的差异掩码IoU对边缘质量非常敏感。两个掩码即使中心区域重合度很高只要边缘差几个像素IoU就会明显下降。这解释了为什么有些模型mAP50-95看起来不错但分割结果肉眼看着边缘“毛毛躁躁”原因就在于评价指标对边缘细节有严格惩罚。我在训练过程中会同时盯这两个指标box mAP衡量目标定位能力mask mAP衡量像素级轮廓能力。如果两者差距很大比如box AP高但mask AP低优先怀疑分割标签质量或者分割损失权重偏低。指标检测任务分割任务含义AP50box AP50mask AP50宽松阈值下的单类平均精度AP50-95box APmask AP严格阈值下的单类平均精度mAP50检测mAP50分割mAP50所有类别AP50的均值mAP50-95检测mAP分割mAP所有类别AP50-95的均值4.3 训练中常见问题与排查技巧实录训练多任务模型踩到的问题很多跟纯检测模型不一样这里整理几个高频问题和我的排查思路。显存不足OOM分割分支额外消耗显存是最大的坑。解决办法优先级从高到低降低batch size、降低输入分辨率imgsz、使用梯度累积、换更小的模型版本n到s。训练不收敛先确认数据标注是否完整检测和分割标签是否一一对应。再确认学习率是否合适Ultralytics默认的自动学习率调整策略一般没问题但如果用了高分辨率输入要适当降低学习率。小目标漏检严重优先提高imgsz其次检查数据集里小目标样本是否过少考虑用裁剪增强或者增加小目标样本数量。如果还不行再考虑加P2检测头。掩码边缘粗糙、有空洞检查标注多边形是否足够精细检查分割损失权重是否过低。我遇到过一版训练因为误用了纯检测数据训练分割分支掩码直接学成方框重新整理标签后立刻恢复正常。类别不均衡数据集中某个类别样本过少会导致该类的AP特别低。解决方式是给少样本类别增加复制粘贴增强次数或使用类别加权损失。5. 最后沉淀多任务训练的几个心得把YOLOv11多任务框架跑通之后回头总结我发现最值得分享的体会有三点。第一不要一上来就魔改模型结构。先用官方yolov11-seg预训练权重配合默认参数跑通全流程验证数据和标签没有问题再根据自己的场景逐步调整。很多人训练崩了问题出在数据本身而不是模型。第二多任务的价值不只是省一次推理。分割分支提供的像素级监督就像给检测分支开了“外挂”让它对目标边界有更好的感知。我在多个数据集上对比过联合训练的检测精度普遍优于单独训练这是多任务学习“隐式数据增强”的实际效果。最后推理阶段的保存策略要提前设计好。训练完的模型不只是出个框掩码数据还能用来算面积、做缺陷检测、引导机械臂抓取。把这些后处理逻辑跟推理脚本解耦写到独立的函数里以后换模型、换数据集都只用改一行调用。做这个项目的过程中最深的感受是YOLOv11把多任务学习的门槛降到了相当低的程度但真正决定模型上限的还是你对数据、损失函数和评价指标的掌握深度。希望这篇实操笔记能帮你少走一些弯路。本文还有配套的精品资源点击获取 YOLOv11多任务联合训练实战：目标检测与实例分割一个模型搞定
简介YOLOv11多任务学习目标检测与实例分割联合训练框架详解.pdf 是一份面向CV算法工程师与研究者的PDF教程系统讲解YOLOv11在目标检测与实例分割联合训练中的完整方案旨在解决多任务场景下特征共享、损失平衡与训练效率等问题。文档共52页约2.18MB支持目录跳转与左侧大纲快速定位阅读体验流畅。内容从YOLO发展历程、多任务学习原理出发逐步深入到联合训练框架设计、特征提取网络、多任务分支结构、损失函数设计、数据集准备、训练优化策略以及COCO/VOC等数据集上的实验对比章节结构清晰其中对加权损失、动态加权、Focal/GIoU/Dice等损失也有展开。既适合初学者理解单阶段检测与分割联合训练的思路也能指导已有基础者按章节复现和调优。资源包内仅1个PDF文件便于携带阅读目前已有274人学习适合安防监控、自动驾驶、工业检测等方向的算法从业者参考。 做视觉项目最怕什么不是调参调到吐而是好不容易训好的检测模型隔壁分割实验又要重新跑一遍。我在做机器人抓取项目时碰到过这个实际问题——既要框出目标物又想知道目标物的像素级轮廓。以前的做法是拆成两步先跑一个YOLO模型做目标检测再把检测框裁剪出来喂给分割模型流程绕、耗时长误差还会一层层传导。后来我把目光放到YOLOv11的多任务能力上直接把目标检测和实例分割塞进同一个框架联合训练一个模型同时输出检测框和分割掩码效果明显简化了整个流程。这篇文章就把我基于YOLOv11做多任务联合训练的思路、框架设计、实操配置和踩过的坑一次性讲清楚。内容覆盖网络结构改动、损失函数设计、标签数据准备、训练参数调优、评价指标解读和推理结果保存适合正在做检测加分割联合任务的开发者或者想了解YOLOv11新特性但不知道从哪下手的同学参考。1. 项目背景为什么要把两个任务绑在一起训练1.1 从“堆两个模型”到“一个模型干两件事”很多刚接触视觉任务的开发者会有一个惯性思维目标检测和实例分割是两门独立技术分开做、分开调、分开部署。但是实际落地场景里这两件事往往同时发生。拿我最近做的工业零件分拣项目举例机器人需要先识别传送带上的零件位置检测再根据轮廓形状判断抓取角度分割。如果拆成两个模型推理阶段先检测后裁剪再分割单帧处理时间直接翻倍生产线节拍根本跑不起来。更麻烦的是误差累积——检测框稍微偏一点裁剪出来的区域就带上了大量背景噪声分割质量跟着崩。多任务学习Multi-Task Learning解决的就是这个问题让主干网络同时学习检测和分割两类监督信号特征提取层是共享的任务分支各管一摊。这样做有三个直观好处速度更快只用一次前向传播就能拿到两类结果省掉串行推理的开销。特征更鲁棒分割分支的像素级监督信息能反哺检测分支让目标框定位更精准反之亦然。维护成本低训练、部署、版本管理都只需要维护一套模型。我实测同一个场景下联合训练模型的mAP50比单独训练的检测模型能高出1到2个百分点尤其在边缘模糊、遮挡比较严重的样本上优势更明显。1.2 YOLOv11的底子为什么适合联合训练YOLOv11是YOLO系列里第一个原生把检测、分割、姿态估计、旋转目标检测等多个任务统一到一套架构上的版本。网络结构上用C3k2模块替换了之前的C2f引入C2PSA注意力模块在保持轻量化的前提下提升了特征表达能力结构上天然适合多任务扩展。另一个关键点是它的解耦检测头设计。YOLOv11在v8解耦头的基础上做了进一步改进分类分支和回归分支完全拆开每个分支独立输出置信度和坐标。这种设计给分割任务的接入留了足够的改造空间——我只需要在回归分支旁边并列加一个mask分支输出mask系数再与特征图上的原型掩码做组合就能生成最终的分割结果。从实操角度说Ultralytics官方已经提供yolov11-seg系列预训练权重这意味着我不需要从零训练而是可以站在官方在大规模数据集上训练好的特征基础上做微调fine-tune收敛速度快最终精度也高得多。这个“站在巨人肩膀上”的起点是选择YOLOv11做联合训练的一个很现实的原因。2. 框架设计检测与分割如何在同一个模型里共存2.1 共享主干与任务分支的分工整个框架可以拆成三块来看Backbone主干网络、Neck特征融合层、Head任务输出头。输入图像先经过Backbone提取多尺度特征图再由NeckPAN-FPN结构做自顶向下和自底向上的特征融合把浅层的细节信息和深层的语义信息混合在一起。检测和分割在Head部分开始分叉。检测分支沿用YOLOv11的解耦头输出分类概率和边界框回归参数分割分支独立出一个mask分支输出的是掩码系数mask coefficients同时Neck的特征图会经过一个proto层生成一组原型掩码prototype masks。推理时将mask系数与原型掩码做矩阵乘法再经过sigmoid激活就得到每个实例的像素级掩码。这个设计思路和YOLACT系列一脉相承好处是分割分支不需要额外增加高分辨率特征图的全卷积解码器计算量增加得很有限模型依然能保持实时推理速度。我第一次跑通时还担心分割质量会不会缩水实测下来对轮廓不算特别复杂的物体掩码边缘质量相当能打。如果要在yaml配置文件层面改造模型核心是调整head部分的输出维度。官方yolov11-seg.yaml里已经有完整的定义其中nc是类别数namp是掩码原型数量默认32新增的seg分支就是在常规检测头输出旁边多拼接一组形状为(4nc32)的输出。这个数值对应的是4个框坐标参数、nc个类别概率和32个掩码系数。2.2 每项损失怎么凑到一起多任务学习成败的关键之一就是损失函数配比。YOLOv11联合训练的总损失由三块组成分类损失判断每个预测框的类别是否正确常用BCE或交叉熵。回归损失衡量预测框与真实框的重合程度包含CIoU损失和DFL损失。分割损失衡量预测掩码与真实掩码的差异YOLOv11里用的是BCE损失把每个像素点当作二分类问题处理。训练时总损失是这三部分的加权和。Ultralytics默认的权重配比经过大量实验验证通常不需要做太大改动但我在小数据集上遇到过分割损失过小、模型偏向检测、掩码粗糙的问题这时可以手动调高分割损失的权重或者干脆冻结检测分支只训练分割头几个epoch。实际操作中我是这样处理的# 在训练代码中调整损失权重示意 model.train( datamy_dataset.yaml, epochs100, imgsz640, # 通过配置参数覆盖默认损失权重 box7.5, # 回归损失权重 cls0.5, # 分类损失权重 dfl1.5, # DFL损失权重 seg1.0 # 分割损失权重需要修改源码或使用支持该参数的版本 )注意不同版本Ultralytics对seg权重暴露方式不太一样有些版本需要直接修改loss.py里的权重常量。我的经验是先跑一版默认配置观察训练日志里各类损失的数值量级如果分割损失的数值比其他损失小了几个数量级就说明它的贡献被淹没了需要适当加大权重。2.3 标签数据检测和分割的标注必须同时存在这是最容易被忽视的一环。多任务联合训练要求每个训练样本同时具备检测标签边界框和分割标签多边形或掩码缺一个都会导致训练报错或该任务的梯度为0。我习惯用COCO格式组织数据。COCO的标注文件里每一条annotation既包含bbox字段框坐标也包含segmentation字段多边形顶点或RLE编码。写数据集配置文件时路径要指到包含annotations目录的dataset根目录# my_dataset.yaml path: /data/my_dataset train: images/train val: images/val names: 0: bottle 1: box 2: cap如果手里只有检测标注想补分割标注我建议用LabelMe或X-AnyLabeling这类工具做半自动打点效率比纯手工画多边形高很多。另外提醒一句数据标注质量直接决定最终掩码质量多边形顶点太稀疏会让边缘出现明显的锯齿。3. 训练与推理完整跑通一个多任务模型3.1 环境配置的几个现实问题YOLOv11的训练环境最核心的依赖是PyTorch和Ultralytics库。官方推荐Python 3.8以上PyTorch 1.8以上但我的实测建议是直接上PyTorch 2.0以上版本训练速度和显存效率会好不少。GPU是必须的吗我的回答是小数据集、小模型可以用CPU跑但没人愿意为一个几百张图片的数据集等上半天。分割分支的额外计算量让全连接层和卷积层的显存占用比纯检测模型高出不少以yolov11n-seg为例输入640x640、batch size为8时大约需要6到8GB显存。如果你手头只有老显卡可以降低batch size到2或4配合梯度累积照样能训练。环境配置这里给个可以直接抄的清单conda create -n yolov11 python3.10 -y conda activate yolov11 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics装完以后跑一句yolo predict sourcehttps://ultralytics.com/images/bus.jpg modelyolov11n-seg.pt验证环境没问题再去准备数据。3.2 训练参数与小目标优化多任务训练的启动命令非常简单选对预训练权重是第一步。如果做通用目标检测加分割直接下载yolov11n-seg.pt或yolov11s-seg.pt即可如果任务场景和COCO差异很大我建议先用官方权重在自有数据上做迁移学习而不是从随机初始化开始。yolo train modelyolov11s-seg.pt datamy_dataset.yaml epochs200 imgsz640 batch8跑起来之后有几个参数值得重点关注。imgsz也就是输入分辨率直接影响小目标检测和分割精度。默认640如果你的目标在图像里只占几十个像素我建议提高到960甚至1280代价是训练时间变长、显存占用增加。batch大小影响训练稳定性显存不够就调小但别太小不然BN层的统计量波动大会导致不收敛。小目标优化是我在这类项目里花了最多时间的一件事。除了提高分辨率还有一个思路是在yaml里增加P2检测头让网络在更浅、更细粒度的特征图上进行预测。不过增加P2头会让计算量显著上升需要权衡。另一个很实用的方法是数据增强打开Ultralytics的mosaic、mixup、copy_paste增强能让模型在训练时“看到”更多小目标上下文对于分割任务copy_paste增强效果尤其好因为它直接把目标实例连像素带标签复制到新图上。3.3 推理结果怎么保存训练完模型紧接着就是推理和结果保存。我遇到过不少朋友训练完不知道怎么把结果存下来只会在终端里看可视化图。YOLOv11的predict命令提供了非常完整的保存选项yolo predict modelruns/segment/train/weights/best.pt sourcetest_images \ saveTrue \ # 保存标注了检测框和掩码的可视化图片 save_txtTrue \ # 保存每张图的检测框和类别标签txt save_cropTrue \ # 保存裁剪出的目标区域 showTrue # 实时显示推理结果如果你用的是Python API结果对象里还藏着更多信息。result.boxes里可以拿到边界框坐标、置信度和类别result.masks里是分割掩码的数据可以转换成numpy数组后直接用来做后续的图像处理或量化分析。我把掩码转成二值图后计算目标像素面积用来辅助做良品率判断效果很好。from ultralytics import YOLO import numpy as np model YOLO(runs/segment/train/weights/best.pt) results model.predict(test.jpg, saveTrue, save_txtTrue) for result in results: if result.masks is not None: mask result.masks.data[0].cpu().numpy() # 第一个实例的掩码 area int(mask.sum()) print(ftarget pixel area: {area})4. 评价指标检测和分割各看什么4.1 目标检测的“考试标准”目标检测任务里最常挂在嘴边的指标就是mAPmean Average Precision。mAP的核心逻辑并不复杂但要真正看明白训练日志必须理解几个前置概念IoU交并比预测框和真实框的重叠程度IoU越高说明定位越准。Precision精确率检测出的目标里真正目标的占比衡量“查得准不准”。Recall召回率所有真实目标里被检测出来的占比衡量“找得全不全”。AP以Precision为纵轴、Recall为横轴画PR曲线曲线下面积就是AP综合反映模型在不同置信度阈值下的表现。对每个类别都算一个AP取平均值就是mAP。在Ultralytics训练日志里你会看到mAP50和mAP50-95。mAP50是IoU阈值取0.5时的mAP这是最常用、也最适合快速比较模型好坏的指标mAP50-95是把IoU阈值从0.5按0.05的步长加到0.95共测10个不同IoU阈值后取平均数值更严格也能更真实地反映定位精度。我自己做项目时mAP50作为验收底线mAP50-95作为优化方向。4.2 实例分割指标与检测指标有什么不同实例分割的评价思路和检测基本一致只是把“边界框”换成了“像素掩码”。核心指标是mask AP计算时使用的IoU不再是两个框的重叠面积而是两个二进制掩码的交集除以并集。实操中有一个值得注意的差异掩码IoU对边缘质量非常敏感。两个掩码即使中心区域重合度很高只要边缘差几个像素IoU就会明显下降。这解释了为什么有些模型mAP50-95看起来不错但分割结果肉眼看着边缘“毛毛躁躁”原因就在于评价指标对边缘细节有严格惩罚。我在训练过程中会同时盯这两个指标box mAP衡量目标定位能力mask mAP衡量像素级轮廓能力。如果两者差距很大比如box AP高但mask AP低优先怀疑分割标签质量或者分割损失权重偏低。指标检测任务分割任务含义AP50box AP50mask AP50宽松阈值下的单类平均精度AP50-95box APmask AP严格阈值下的单类平均精度mAP50检测mAP50分割mAP50所有类别AP50的均值mAP50-95检测mAP分割mAP所有类别AP50-95的均值4.3 训练中常见问题与排查技巧实录训练多任务模型踩到的问题很多跟纯检测模型不一样这里整理几个高频问题和我的排查思路。显存不足OOM分割分支额外消耗显存是最大的坑。解决办法优先级从高到低降低batch size、降低输入分辨率imgsz、使用梯度累积、换更小的模型版本n到s。训练不收敛先确认数据标注是否完整检测和分割标签是否一一对应。再确认学习率是否合适Ultralytics默认的自动学习率调整策略一般没问题但如果用了高分辨率输入要适当降低学习率。小目标漏检严重优先提高imgsz其次检查数据集里小目标样本是否过少考虑用裁剪增强或者增加小目标样本数量。如果还不行再考虑加P2检测头。掩码边缘粗糙、有空洞检查标注多边形是否足够精细检查分割损失权重是否过低。我遇到过一版训练因为误用了纯检测数据训练分割分支掩码直接学成方框重新整理标签后立刻恢复正常。类别不均衡数据集中某个类别样本过少会导致该类的AP特别低。解决方式是给少样本类别增加复制粘贴增强次数或使用类别加权损失。5. 最后沉淀多任务训练的几个心得把YOLOv11多任务框架跑通之后回头总结我发现最值得分享的体会有三点。第一不要一上来就魔改模型结构。先用官方yolov11-seg预训练权重配合默认参数跑通全流程验证数据和标签没有问题再根据自己的场景逐步调整。很多人训练崩了问题出在数据本身而不是模型。第二多任务的价值不只是省一次推理。分割分支提供的像素级监督就像给检测分支开了“外挂”让它对目标边界有更好的感知。我在多个数据集上对比过联合训练的检测精度普遍优于单独训练这是多任务学习“隐式数据增强”的实际效果。最后推理阶段的保存策略要提前设计好。训练完的模型不只是出个框掩码数据还能用来算面积、做缺陷检测、引导机械臂抓取。把这些后处理逻辑跟推理脚本解耦写到独立的函数里以后换模型、换数据集都只用改一行调用。做这个项目的过程中最深的感受是YOLOv11把多任务学习的门槛降到了相当低的程度但真正决定模型上限的还是你对数据、损失函数和评价指标的掌握深度。希望这篇实操笔记能帮你少走一些弯路。本文还有配套的精品资源点击获取