简介YOLOv5鱼类数据集FISHES-IN-THE-WILD-YOLOv5专为计算机视觉开发者与水下AI应用研究者设计聚焦野生环境下的鱼类目标检测任务适用于渔业监测、生态评估、水下机器人识别等真实场景适合具备PyTorch与YOLOv5基础的中高级学习者开展模型训练与泛化能力验证。资源包共2321个文件含1156张高质量JPG图像覆盖多角度、光照与遮挡下的野生鱼类、585个YOLO格式TXT标注文件提供归一化边界框坐标及类别标签、578个XML辅助标注文件便于跨框架转换以及2段原始采集MP4视频整体压缩后仅518.09MB结构清晰、开箱即用。目前已有815人下载学习。用户可直接用于YOLOv5s/m/l系列模型训练配套标注完整、场景多样性高特别包含自然水域中鱼群密集、半透明体态、运动模糊等挑战性样本显著降低数据清洗与格式转换成本有效支撑模型鲁棒性优化与部署验证。1. 项目概述从数据集到模型一次搞定鱼类目标检测最近在搞一个水下生物监测的项目核心需求就是要能实时、准确地识别视频流里的各种鱼类。市面上现成的通用检测模型比如COCO预训练的YOLOv5在水下这种光线复杂、背景多变、目标形态各异的场景下效果总是不尽如人意。要么是把珊瑚礁误认成鱼要么是鱼群密集时漏检严重。折腾了一圈最后还是决定自己动手用专门的数据集从头训练一个模型。这时候“FISHES-IN-THE-WILD-YOLOv5”这个项目就进入了我的视线。它不是一个简单的数据集而是一个为YOLOv5量身定制的、包含高质量标注的野生鱼类图像集合。对于任何想在水下视觉、生态研究或者智能渔场领域应用目标检测的朋友来说这绝对是一个宝藏资源。今天我就结合自己实际训练和部署的经验把这个数据集怎么用、YOLOv5模型怎么调、训练过程中有哪些坑从头到尾捋一遍。无论你是刚接触目标检测的新手还是想为自己的项目寻找一个垂直领域解决方案的老手这篇内容都能给你提供一条清晰的路径和一堆实用的“避坑指南”。2. 数据集深度解析FISHES-IN-THE-WILD 的含金量在哪拿到一个数据集第一步不是急着去跑训练脚本而是要先把它“吃透”。理解数据集的构成、特点和质量直接决定了后续模型训练的策略和最终效果的上限。2.1 数据集内容与结构剖析“FISHES-IN-THE-WILD-YOLOv5”数据集顾名思义核心是“野生环境下的鱼类”。这意味着里面的图片不是在实验室水族箱里拍的而是在真实的海洋、河流、湖泊等自然水域中采集的。这种真实性带来了巨大的价值也带来了挑战。数据集通常以YOLO格式组织这也是它名字里带“YOLOv5”的原因开箱即用。解压后你会看到类似下面的结构FISHES-IN-THE-WILD-YOLOv5/ ├── images/ │ ├── train/ # 训练集图片 │ └── val/ # 验证集图片 └── labels/ ├── train/ # 训练集标签YOLO格式 .txt文件 └── val/ # 验证集标签每个标签文件.txt与图片文件一一对应其内容格式为class_id x_center y_center width height。这里的坐标是归一化后的0到1之间class_id对应的是数据集中鱼类的类别索引。这个数据集可能包含多种常见的野生鱼类比如鲑鱼、金枪鱼、鲈鱼、石斑鱼等具体类别需要查看数据集自带的data.yaml文件。这个YAML文件是YOLOv5训练的“配置文件”里面定义了数据集的路径、类别数量和类别名称。一个典型的data.yaml如下# FISHES-IN-THE-WILD 数据集配置文件 path: ../datasets/FISHES-IN-THE-WILD-YOLOv5 # 数据集根目录 train: images/train # 训练集图片相对路径 val: images/val # 验证集图片相对路径 # 类别数量 nc: 10 # 类别名称 names: [Salmon, Tuna, Bass, Grouper, Trout, Carp, Catfish, Mackerel, Sardine, Flounder]注意不同来源的“FISHES-IN-THE-WILD”数据集其类别数量和具体鱼种可能有所不同。务必在训练前确认你的data.yaml文件内容与实际数据匹配否则会导致类别映射错误训练完全失败。2.2 数据特点与挑战应对野生鱼类数据集有几个显著特点我们在训练前必须心里有数环境复杂多变水下光照不均、悬浮颗粒、背景杂乱珊瑚、水草、岩石、水体颜色蓝、绿、浑浊。这要求模型必须对颜色和纹理的鲁棒性非常强。目标尺度差异大既有靠近镜头的大鱼也有远处的小鱼群。模型需要同时具备检测大目标和小目标的能力。目标姿态多样鱼是活动的图像可能捕捉到正面、侧面、背面、倾斜等各种姿态还有部分遮挡的情况。类别间相似性某些鱼类在形态、颜色上可能比较接近增加了分类难度。应对策略数据增强是核心必须充分利用YOLOv5内置的增强功能如Mosaic四图拼接、MixUp、随机透视、色彩抖动HSV-Hue, Saturation, Value。特别是HSV调整对模拟不同水质的光照条件非常有效。关注小目标在模型结构上可以倾向于选择更关注小目标检测的版本如YOLOv5s的P5模型或考虑YOLOv5-P6/P7模型它们有更高分辨率的检测头。在训练时可以适当降低模型下采样倍数如从默认的32倍降到16倍但会显著增加计算量。仔细检查标注质量野生数据标注难度大可能存在漏标、错标、框不准的情况。训练前务必用工具如labelImg或YOLOv5自带的utils.plots模块随机可视化一些样本确保标注框紧贴鱼体且没有遗漏。3. YOLOv5模型训练全流程实操数据准备好了接下来就是重头戏训练。这里我以最常用的YOLOv5s模型为例带你走一遍完整的流程。3.1 环境搭建与依赖安装我强烈推荐使用Conda或Docker来管理环境避免包版本冲突。以下是基于Conda的步骤# 1. 创建并激活一个专门的Python环境以Python 3.8为例 conda create -n yolov5-fish python3.8 conda activate yolov5-fish # 2. 克隆官方YOLOv5仓库建议使用较稳定的版本如v6.0/v7.0 git clone https://github.com/ultralytics/yolov5.git cd yolov5 # 3. 安装依赖使用requirements.txt注意PyTorch版本需与你的CUDA版本匹配 # 如果你有NVIDIA GPU并已安装CUDA 11.3可以这样安装PyTorch pip install torch1.12.1cu113 torchvision0.13.1cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 然后安装其他依赖 pip install -r requirements.txt实操心得requirements.txt里的opencv-python有时会安装失败可以尝试单独安装pip install opencv-python-headless。另外确保你的CUDA和cuDNN版本与PyTorch要求一致这是GPU训练能成功的关键。3.2 数据准备与配置文件修改放置数据集将下载好的“FISHES-IN-THE-WILD-YOLOv5”文件夹放到YOLOv5项目目录的同级或某个子目录下。记住它的绝对路径或相对路径。修改data.yaml确保数据集自带的data.yaml中的path指向正确。或者你可以在YOLOv5的data/目录下创建一个新的YAML文件例如fish.yaml内容如前文所示并修改路径。选择模型配置文件YOLOv5提供了不同大小的模型yolov5s.yaml,yolov5m.yaml,yolov5l.yaml,yolov5x.yamls/m/l/x分别代表小/中/大/超大。它们主要在网络的宽度和深度上有区别。对于鱼类检测如果希望部署在边缘设备如提到的RV1106、RK3568yolov5s是首选如果追求更高精度且算力充足可以用yolov5m或yolov5l。3.3 启动训练与关键参数解析训练命令的核心是train.py脚本。一个完整的训练命令示例如下python train.py \ --img 640 \ # 训练图像尺寸必须是32的倍数 --batch-size 16 \ # 批次大小根据GPU内存调整 --epochs 100 \ # 训练轮数 --data data/fish.yaml \ # 数据集配置文件路径 --cfg models/yolov5s.yaml \ # 模型配置文件路径 --weights yolov5s.pt \ # 初始权重使用预训练模型强烈推荐 --name fish_detection_exp \ # 本次实验的名称用于保存结果 --device 0 \ # 使用GPU 0如果是CPU则用 --device cpu --workers 8 \ # 数据加载的线程数 --hyp data/hyps/hyp.scratch-low.yaml \ # 超参数配置文件 --seed 42 # 随机种子确保可复现性关键参数深度解读--weights yolov5s.pt这是最重要的参数之一。强烈建议从官方预训练模型开始训练迁移学习。yolov5s.pt是在COCO数据集上预训练的它已经学会了如何检测通用物体边缘、形状、纹理等。在这个基础上学习“鱼类”这个特定类别比从零开始scratch训练要快得多效果好得多也更容易收敛。--img 640输入图像尺寸。更大的尺寸如1280有助于检测小目标但会大幅增加显存消耗和训练时间。对于大多数鱼类检测场景640是一个较好的平衡点。如果你的数据集中小鱼非常多可以尝试增大到960或1280。--batch-size批次大小。在GPU显存允许的情况下尽可能设大。更大的batch size通常能使训练更稳定梯度估计更准确。如果出现“CUDA out of memory”错误就需要减小这个值或者减小--img尺寸。--hyp超参数配置文件。YOLOv5将学习率、优化器参数、数据增强强度等一大堆超参数都放在了一个YAML文件里。hyp.scratch-low.yaml是比较保守的设置适合小数据集。如果你的数据集有几万张图可以用hyp.scratch-high.yaml。不建议新手直接修改里面的具体数值先使用默认配置。--epochs训练轮数。不是越多越好。通常训练会早停early stop当验证集指标不再提升时自动停止。100-300轮对于中等规模数据集通常是足够的。训练开始后控制台会输出日志同时会在runs/train/fish_detection_exp目录下生成大量有用的结果文件包括损失曲线、精度召回率曲线、混淆矩阵、验证样本的检测效果图等等。务必定期查看这些可视化结果这是监控训练状态、诊断问题的最佳方式。4. 模型调优与性能提升实战技巧训练出一个能跑的模型只是第一步如何让它变得更准、更快、更鲁棒才是体现功力的地方。4.1 超参数调优策略超参数调优是个细活不要一上来就乱调。我的建议是先跑一个基线使用上述默认参数和预训练权重完整训练一次得到基线模型性能。调整学习率LR这是最有效的单参数。如果训练损失下降很慢或震荡可以尝试增大学习率在hyp.yaml中修改lr0例如从0.01调到0.1。如果损失很快降到很低然后开始上升过拟合或者训练不稳定就减小学习率如调到0.001。也可以使用学习率预热warmup_epochs和余弦退火调度器cos_lr这些在hyp.yaml中都已默认开启通常效果很好。调整数据增强强度对于野生鱼类这种复杂场景强数据增强很有帮助。重点关注hyp.yaml中的这些参数hsv_h,hsv_s,hsv_v调整色调、饱和度和明度。可以适当增大如都增加到0.5来让模型对颜色变化更鲁棒。degrees,translate,scale,shear控制几何变换。适度增加可以提升模型对鱼类不同姿态和位置的适应性。mosaic: 默认为1.0100%概率使用。对于小数据集保持开启如果数据集很大可以降低到0.5。mixup: 默认为0.0关闭。可以尝试设置为0.1或0.2它能创造一些“混合”样本有助于正则化防止过拟合。使用进化算法EvolutionYOLOv5提供了一个自动超参数搜索工具。这比较耗时但可能找到更优的组合。你可以用少量epoch如10轮在小批量数据上跑一下进化搜索然后将找到的最佳超参数应用到完整训练中。python train.py --evolve4.2 针对鱼类检测的特定优化解决类别不平衡如果数据集中某些鱼类的图片数量远多于其他类比如沙丁鱼图片很多石斑鱼很少模型会对多数类过拟合。解决方法过采样少数类在数据加载时对少数类图片进行重复采样。使用类别权重在损失函数中为少数类分配更高的权重。YOLOv5默认使用Focal Loss其cls_pw和obj_pw参数可以微调但修改源码比较麻烦。更简单的方法是尝试使用--class-weights参数如果版本支持或者手动复制少数类的图片到训练集。提升小目标检测模型层面考虑使用YOLOv5的P6模型--cfg models/yolov5s6.yaml它接受1280x1280的输入并在更深的特征层进行检测对小目标更友好。数据层面确保训练图片中包含了足够多的小目标样本。可以统计一下标注框中宽度/高度小于图像尺寸一定比例如2%的目标数量。Anchor重聚类YOLOv5默认的Anchor是针对COCO数据集聚类的。鱼类的长宽比可能和通用物体不同。可以使用utils/autoanchor.py脚本在自己的鱼类数据集上重新聚类生成Anchor可能会提升框的初始匹配度。python utils/autoanchor.py --data data/fish.yaml5. 模型评估、导出与部署选型训练完成后我们需要客观地评估模型并将其转换成适合不同平台部署的格式。5.1 模型评估与指标解读训练脚本会自动在验证集上评估并生成一系列指标。我们主要关注以下几个mAP0.5 (Mean Average Precision)这是最核心的指标。它表示在IoU交并比阈值为0.5时所有类别的平均精度AP的平均值。值越高越好0.5以上通常认为不错0.7以上就很优秀了。mAP0.5:0.95在IoU阈值从0.5到0.95步长0.05上计算的平均mAP。这是一个更严格的指标要求预测框与真实框的重合度非常高。对于需要精确定位的场景如测量鱼体长度这个指标很重要。Precision (精确率)和Recall (召回率)精确率表示“模型认为是鱼的框里有多少真的是鱼”召回率表示“所有真实的鱼模型找出了多少”。两者通常此消彼长。我们可以在runs/train/exp/results.csv文件或生成的PR曲线图中看到它们的变化趋势。一个好的模型应该在两者间取得平衡。混淆矩阵查看模型最容易混淆哪些鱼类类别。如果某两类鱼经常被互相误认可能需要检查这两类鱼的训练样本是否不足或者它们在视觉上确实非常相似需要考虑合并类别或收集更多特征鲜明的样本。使用以下命令可以对最佳模型通常是runs/train/exp/weights/best.pt进行详细评估python val.py --data data/fish.yaml --weights runs/train/exp/weights/best.pt --img 6405.2 模型导出与部署方案训练好的PyTorch模型.pt需要转换成其他格式才能在不同硬件上高效运行。导出为ONNXONNX是一种开放的模型交换格式是通往很多推理引擎的桥梁。python export.py --weights runs/train/exp/weights/best.pt --include onnx --img 640 --batch 1--batch 1指定了动态批次更适合部署。导出的ONNX模型可以被OpenCV DNN、TensorRT、ONNX Runtime等框架调用。针对RK3568/RV1106等边缘设备的部署RK3568瑞芯微这款芯片性能较强通常支持NPU加速。部署流程一般是PyTorch - ONNX - RKNNRockchip Neural Network Toolkit。你需要使用瑞芯微提供的RKNN-Toolkit2将ONNX模型转换和量化成.rknn格式然后在板子上调用RKNN SDK进行推理。这个过程涉及模型量化INT8/FP16可能会带来精度损失需要仔细评估。RV1106这是一款面向视觉的轻量级芯片。部署流程类似也需要通过RKNN-Toolkit进行转换。由于RV1106算力有限务必使用最轻量的模型如YOLOv5s并且可能需要进行大幅度的剪枝和量化输入尺寸也可能需要降到320x320甚至更低以满足实时性要求如30FPS。踩坑实录在边缘设备上部署最大的坑是量化。直接将浮点模型量化成INT8精度损失可能非常大尤其是对于小目标检测。解决方案是使用量化感知训练QAT即在训练过程中模拟量化的效果让模型提前适应低精度计算。但这需要修改训练代码复杂度较高。一个更实用的方法是在RKNN转换时使用校准数据集从训练集中随机抽取几百张图来统计激活值范围进行更精细的量化参数调整这通常能挽回不少精度损失。导出为TensorRT如果你在NVIDIA Jetson系列或带有NVIDIA GPU的服务器上部署TensorRT能提供极致的性能优化。python export.py --weights runs/train/exp/weights/best.pt --include engine --img 640 --batch 1 --device 0这需要你的环境已安装TensorRT。TensorRT会针对特定的GPU进行内核优化并支持FP16/INT8量化速度比直接运行PyTorch模型快很多。6. 训练过程中的常见问题与排查指南在实际操作中你肯定会遇到各种各样的问题。这里我整理了一份“排坑手册”。问题现象可能原因排查步骤与解决方案训练损失loss不下降1. 学习率设置不当太高或太低。2. 数据标注有严重错误。3. 模型结构或配置文件错误。4. 没有使用预训练权重。1. 检查hyp.yaml中的lr0尝试调高或调低一个数量级。2. 用utils.plots可视化一批训练数据看标注框是否合理。3. 检查data.yaml和模型yaml文件路径、格式是否正确。4.确保训练命令包含--weights yolov5s.pt。验证集mAP很低但训练集损失正常1. 严重过拟合。2. 训练集和验证集数据分布差异大。3. 验证集标注质量差。1. 增加数据增强强度hyp.yaml中的增强参数或使用MixUp、CutOut等。2. 检查数据集划分是否随机、均匀。确保训练集和验证集都来自同一分布。3. 可视化验证集图片和预测结果看是否是标注本身不准导致计算出的mAP低。CUDA out of memory (OOM)1.--batch-size或--img-size太大。2. 模型太大如用了yolov5x。3. GPU显存不足。1. 首先减小--batch-size如从16减到8。如果还不行减小--img-size如从640减到512。2. 换用更小的模型如从yolov5l换到yolov5m。3. 使用梯度累积--accumulate模拟更大的batch size。模型预测时置信度普遍很低1. 训练数据与测试数据分布不一致。2. 训练不充分或过早停止。3. 后处理参数置信度阈值conf-thres设置过高。1. 确保测试图片的环境、画质与训练集相似。2. 增加训练轮数--epochs或检查早停是否触发过早。3. 在推理时降低--conf-thres参数默认0.25尝试0.1或0.05。某些类别始终检测不到或精度极低1. 该类别训练样本数量严重不足。2. 该类别特征与其他类别高度相似难以区分。3. 标注中存在大量该类别的错误标签。1. 收集更多该类别数据或使用过采样、数据增强生成更多样本。2. 查看混淆矩阵确认与哪些类别混淆。考虑是否需要合并难以区分的类别。3. 重点检查并修正该类别数据的标注。一个高级调试技巧使用TensorBoardYOLOv5训练时默认会记录TensorBoard日志。在训练目录下运行tensorboard --logdir runs/train然后在浏览器打开提示的地址。你可以在这里动态查看损失曲线、指标变化、模型图、甚至每一层的权重分布直方图。这对于理解模型训练的动态过程、诊断梯度消失/爆炸等问题非常有帮助。训练一个专精于鱼类检测的YOLOv5模型就像教一个孩子认识各种各样的鱼。你需要给他看大量、多样、标注清晰的图片高质量数据集用合适的方法引导他正确的训练策略和超参数在他犯错时及时纠正分析评估指标和问题最后让他能在不同的场合都认出鱼来模型优化与部署。这个过程没有一成不变的“银弹”需要根据你的具体数据和应用场景反复迭代、调试。希望我分享的这些从数据准备到模型部署的完整链条经验和那些踩过的坑能帮你少走弯路更快地训练出满足项目需求的“水下侦察兵”。本文还有配套的精品资源点击获取 基于YOLOv5与FISHES-IN-THE-WILD数据集的水下鱼类目标检测实战
简介YOLOv5鱼类数据集FISHES-IN-THE-WILD-YOLOv5专为计算机视觉开发者与水下AI应用研究者设计聚焦野生环境下的鱼类目标检测任务适用于渔业监测、生态评估、水下机器人识别等真实场景适合具备PyTorch与YOLOv5基础的中高级学习者开展模型训练与泛化能力验证。资源包共2321个文件含1156张高质量JPG图像覆盖多角度、光照与遮挡下的野生鱼类、585个YOLO格式TXT标注文件提供归一化边界框坐标及类别标签、578个XML辅助标注文件便于跨框架转换以及2段原始采集MP4视频整体压缩后仅518.09MB结构清晰、开箱即用。目前已有815人下载学习。用户可直接用于YOLOv5s/m/l系列模型训练配套标注完整、场景多样性高特别包含自然水域中鱼群密集、半透明体态、运动模糊等挑战性样本显著降低数据清洗与格式转换成本有效支撑模型鲁棒性优化与部署验证。1. 项目概述从数据集到模型一次搞定鱼类目标检测最近在搞一个水下生物监测的项目核心需求就是要能实时、准确地识别视频流里的各种鱼类。市面上现成的通用检测模型比如COCO预训练的YOLOv5在水下这种光线复杂、背景多变、目标形态各异的场景下效果总是不尽如人意。要么是把珊瑚礁误认成鱼要么是鱼群密集时漏检严重。折腾了一圈最后还是决定自己动手用专门的数据集从头训练一个模型。这时候“FISHES-IN-THE-WILD-YOLOv5”这个项目就进入了我的视线。它不是一个简单的数据集而是一个为YOLOv5量身定制的、包含高质量标注的野生鱼类图像集合。对于任何想在水下视觉、生态研究或者智能渔场领域应用目标检测的朋友来说这绝对是一个宝藏资源。今天我就结合自己实际训练和部署的经验把这个数据集怎么用、YOLOv5模型怎么调、训练过程中有哪些坑从头到尾捋一遍。无论你是刚接触目标检测的新手还是想为自己的项目寻找一个垂直领域解决方案的老手这篇内容都能给你提供一条清晰的路径和一堆实用的“避坑指南”。2. 数据集深度解析FISHES-IN-THE-WILD 的含金量在哪拿到一个数据集第一步不是急着去跑训练脚本而是要先把它“吃透”。理解数据集的构成、特点和质量直接决定了后续模型训练的策略和最终效果的上限。2.1 数据集内容与结构剖析“FISHES-IN-THE-WILD-YOLOv5”数据集顾名思义核心是“野生环境下的鱼类”。这意味着里面的图片不是在实验室水族箱里拍的而是在真实的海洋、河流、湖泊等自然水域中采集的。这种真实性带来了巨大的价值也带来了挑战。数据集通常以YOLO格式组织这也是它名字里带“YOLOv5”的原因开箱即用。解压后你会看到类似下面的结构FISHES-IN-THE-WILD-YOLOv5/ ├── images/ │ ├── train/ # 训练集图片 │ └── val/ # 验证集图片 └── labels/ ├── train/ # 训练集标签YOLO格式 .txt文件 └── val/ # 验证集标签每个标签文件.txt与图片文件一一对应其内容格式为class_id x_center y_center width height。这里的坐标是归一化后的0到1之间class_id对应的是数据集中鱼类的类别索引。这个数据集可能包含多种常见的野生鱼类比如鲑鱼、金枪鱼、鲈鱼、石斑鱼等具体类别需要查看数据集自带的data.yaml文件。这个YAML文件是YOLOv5训练的“配置文件”里面定义了数据集的路径、类别数量和类别名称。一个典型的data.yaml如下# FISHES-IN-THE-WILD 数据集配置文件 path: ../datasets/FISHES-IN-THE-WILD-YOLOv5 # 数据集根目录 train: images/train # 训练集图片相对路径 val: images/val # 验证集图片相对路径 # 类别数量 nc: 10 # 类别名称 names: [Salmon, Tuna, Bass, Grouper, Trout, Carp, Catfish, Mackerel, Sardine, Flounder]注意不同来源的“FISHES-IN-THE-WILD”数据集其类别数量和具体鱼种可能有所不同。务必在训练前确认你的data.yaml文件内容与实际数据匹配否则会导致类别映射错误训练完全失败。2.2 数据特点与挑战应对野生鱼类数据集有几个显著特点我们在训练前必须心里有数环境复杂多变水下光照不均、悬浮颗粒、背景杂乱珊瑚、水草、岩石、水体颜色蓝、绿、浑浊。这要求模型必须对颜色和纹理的鲁棒性非常强。目标尺度差异大既有靠近镜头的大鱼也有远处的小鱼群。模型需要同时具备检测大目标和小目标的能力。目标姿态多样鱼是活动的图像可能捕捉到正面、侧面、背面、倾斜等各种姿态还有部分遮挡的情况。类别间相似性某些鱼类在形态、颜色上可能比较接近增加了分类难度。应对策略数据增强是核心必须充分利用YOLOv5内置的增强功能如Mosaic四图拼接、MixUp、随机透视、色彩抖动HSV-Hue, Saturation, Value。特别是HSV调整对模拟不同水质的光照条件非常有效。关注小目标在模型结构上可以倾向于选择更关注小目标检测的版本如YOLOv5s的P5模型或考虑YOLOv5-P6/P7模型它们有更高分辨率的检测头。在训练时可以适当降低模型下采样倍数如从默认的32倍降到16倍但会显著增加计算量。仔细检查标注质量野生数据标注难度大可能存在漏标、错标、框不准的情况。训练前务必用工具如labelImg或YOLOv5自带的utils.plots模块随机可视化一些样本确保标注框紧贴鱼体且没有遗漏。3. YOLOv5模型训练全流程实操数据准备好了接下来就是重头戏训练。这里我以最常用的YOLOv5s模型为例带你走一遍完整的流程。3.1 环境搭建与依赖安装我强烈推荐使用Conda或Docker来管理环境避免包版本冲突。以下是基于Conda的步骤# 1. 创建并激活一个专门的Python环境以Python 3.8为例 conda create -n yolov5-fish python3.8 conda activate yolov5-fish # 2. 克隆官方YOLOv5仓库建议使用较稳定的版本如v6.0/v7.0 git clone https://github.com/ultralytics/yolov5.git cd yolov5 # 3. 安装依赖使用requirements.txt注意PyTorch版本需与你的CUDA版本匹配 # 如果你有NVIDIA GPU并已安装CUDA 11.3可以这样安装PyTorch pip install torch1.12.1cu113 torchvision0.13.1cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 然后安装其他依赖 pip install -r requirements.txt实操心得requirements.txt里的opencv-python有时会安装失败可以尝试单独安装pip install opencv-python-headless。另外确保你的CUDA和cuDNN版本与PyTorch要求一致这是GPU训练能成功的关键。3.2 数据准备与配置文件修改放置数据集将下载好的“FISHES-IN-THE-WILD-YOLOv5”文件夹放到YOLOv5项目目录的同级或某个子目录下。记住它的绝对路径或相对路径。修改data.yaml确保数据集自带的data.yaml中的path指向正确。或者你可以在YOLOv5的data/目录下创建一个新的YAML文件例如fish.yaml内容如前文所示并修改路径。选择模型配置文件YOLOv5提供了不同大小的模型yolov5s.yaml,yolov5m.yaml,yolov5l.yaml,yolov5x.yamls/m/l/x分别代表小/中/大/超大。它们主要在网络的宽度和深度上有区别。对于鱼类检测如果希望部署在边缘设备如提到的RV1106、RK3568yolov5s是首选如果追求更高精度且算力充足可以用yolov5m或yolov5l。3.3 启动训练与关键参数解析训练命令的核心是train.py脚本。一个完整的训练命令示例如下python train.py \ --img 640 \ # 训练图像尺寸必须是32的倍数 --batch-size 16 \ # 批次大小根据GPU内存调整 --epochs 100 \ # 训练轮数 --data data/fish.yaml \ # 数据集配置文件路径 --cfg models/yolov5s.yaml \ # 模型配置文件路径 --weights yolov5s.pt \ # 初始权重使用预训练模型强烈推荐 --name fish_detection_exp \ # 本次实验的名称用于保存结果 --device 0 \ # 使用GPU 0如果是CPU则用 --device cpu --workers 8 \ # 数据加载的线程数 --hyp data/hyps/hyp.scratch-low.yaml \ # 超参数配置文件 --seed 42 # 随机种子确保可复现性关键参数深度解读--weights yolov5s.pt这是最重要的参数之一。强烈建议从官方预训练模型开始训练迁移学习。yolov5s.pt是在COCO数据集上预训练的它已经学会了如何检测通用物体边缘、形状、纹理等。在这个基础上学习“鱼类”这个特定类别比从零开始scratch训练要快得多效果好得多也更容易收敛。--img 640输入图像尺寸。更大的尺寸如1280有助于检测小目标但会大幅增加显存消耗和训练时间。对于大多数鱼类检测场景640是一个较好的平衡点。如果你的数据集中小鱼非常多可以尝试增大到960或1280。--batch-size批次大小。在GPU显存允许的情况下尽可能设大。更大的batch size通常能使训练更稳定梯度估计更准确。如果出现“CUDA out of memory”错误就需要减小这个值或者减小--img尺寸。--hyp超参数配置文件。YOLOv5将学习率、优化器参数、数据增强强度等一大堆超参数都放在了一个YAML文件里。hyp.scratch-low.yaml是比较保守的设置适合小数据集。如果你的数据集有几万张图可以用hyp.scratch-high.yaml。不建议新手直接修改里面的具体数值先使用默认配置。--epochs训练轮数。不是越多越好。通常训练会早停early stop当验证集指标不再提升时自动停止。100-300轮对于中等规模数据集通常是足够的。训练开始后控制台会输出日志同时会在runs/train/fish_detection_exp目录下生成大量有用的结果文件包括损失曲线、精度召回率曲线、混淆矩阵、验证样本的检测效果图等等。务必定期查看这些可视化结果这是监控训练状态、诊断问题的最佳方式。4. 模型调优与性能提升实战技巧训练出一个能跑的模型只是第一步如何让它变得更准、更快、更鲁棒才是体现功力的地方。4.1 超参数调优策略超参数调优是个细活不要一上来就乱调。我的建议是先跑一个基线使用上述默认参数和预训练权重完整训练一次得到基线模型性能。调整学习率LR这是最有效的单参数。如果训练损失下降很慢或震荡可以尝试增大学习率在hyp.yaml中修改lr0例如从0.01调到0.1。如果损失很快降到很低然后开始上升过拟合或者训练不稳定就减小学习率如调到0.001。也可以使用学习率预热warmup_epochs和余弦退火调度器cos_lr这些在hyp.yaml中都已默认开启通常效果很好。调整数据增强强度对于野生鱼类这种复杂场景强数据增强很有帮助。重点关注hyp.yaml中的这些参数hsv_h,hsv_s,hsv_v调整色调、饱和度和明度。可以适当增大如都增加到0.5来让模型对颜色变化更鲁棒。degrees,translate,scale,shear控制几何变换。适度增加可以提升模型对鱼类不同姿态和位置的适应性。mosaic: 默认为1.0100%概率使用。对于小数据集保持开启如果数据集很大可以降低到0.5。mixup: 默认为0.0关闭。可以尝试设置为0.1或0.2它能创造一些“混合”样本有助于正则化防止过拟合。使用进化算法EvolutionYOLOv5提供了一个自动超参数搜索工具。这比较耗时但可能找到更优的组合。你可以用少量epoch如10轮在小批量数据上跑一下进化搜索然后将找到的最佳超参数应用到完整训练中。python train.py --evolve4.2 针对鱼类检测的特定优化解决类别不平衡如果数据集中某些鱼类的图片数量远多于其他类比如沙丁鱼图片很多石斑鱼很少模型会对多数类过拟合。解决方法过采样少数类在数据加载时对少数类图片进行重复采样。使用类别权重在损失函数中为少数类分配更高的权重。YOLOv5默认使用Focal Loss其cls_pw和obj_pw参数可以微调但修改源码比较麻烦。更简单的方法是尝试使用--class-weights参数如果版本支持或者手动复制少数类的图片到训练集。提升小目标检测模型层面考虑使用YOLOv5的P6模型--cfg models/yolov5s6.yaml它接受1280x1280的输入并在更深的特征层进行检测对小目标更友好。数据层面确保训练图片中包含了足够多的小目标样本。可以统计一下标注框中宽度/高度小于图像尺寸一定比例如2%的目标数量。Anchor重聚类YOLOv5默认的Anchor是针对COCO数据集聚类的。鱼类的长宽比可能和通用物体不同。可以使用utils/autoanchor.py脚本在自己的鱼类数据集上重新聚类生成Anchor可能会提升框的初始匹配度。python utils/autoanchor.py --data data/fish.yaml5. 模型评估、导出与部署选型训练完成后我们需要客观地评估模型并将其转换成适合不同平台部署的格式。5.1 模型评估与指标解读训练脚本会自动在验证集上评估并生成一系列指标。我们主要关注以下几个mAP0.5 (Mean Average Precision)这是最核心的指标。它表示在IoU交并比阈值为0.5时所有类别的平均精度AP的平均值。值越高越好0.5以上通常认为不错0.7以上就很优秀了。mAP0.5:0.95在IoU阈值从0.5到0.95步长0.05上计算的平均mAP。这是一个更严格的指标要求预测框与真实框的重合度非常高。对于需要精确定位的场景如测量鱼体长度这个指标很重要。Precision (精确率)和Recall (召回率)精确率表示“模型认为是鱼的框里有多少真的是鱼”召回率表示“所有真实的鱼模型找出了多少”。两者通常此消彼长。我们可以在runs/train/exp/results.csv文件或生成的PR曲线图中看到它们的变化趋势。一个好的模型应该在两者间取得平衡。混淆矩阵查看模型最容易混淆哪些鱼类类别。如果某两类鱼经常被互相误认可能需要检查这两类鱼的训练样本是否不足或者它们在视觉上确实非常相似需要考虑合并类别或收集更多特征鲜明的样本。使用以下命令可以对最佳模型通常是runs/train/exp/weights/best.pt进行详细评估python val.py --data data/fish.yaml --weights runs/train/exp/weights/best.pt --img 6405.2 模型导出与部署方案训练好的PyTorch模型.pt需要转换成其他格式才能在不同硬件上高效运行。导出为ONNXONNX是一种开放的模型交换格式是通往很多推理引擎的桥梁。python export.py --weights runs/train/exp/weights/best.pt --include onnx --img 640 --batch 1--batch 1指定了动态批次更适合部署。导出的ONNX模型可以被OpenCV DNN、TensorRT、ONNX Runtime等框架调用。针对RK3568/RV1106等边缘设备的部署RK3568瑞芯微这款芯片性能较强通常支持NPU加速。部署流程一般是PyTorch - ONNX - RKNNRockchip Neural Network Toolkit。你需要使用瑞芯微提供的RKNN-Toolkit2将ONNX模型转换和量化成.rknn格式然后在板子上调用RKNN SDK进行推理。这个过程涉及模型量化INT8/FP16可能会带来精度损失需要仔细评估。RV1106这是一款面向视觉的轻量级芯片。部署流程类似也需要通过RKNN-Toolkit进行转换。由于RV1106算力有限务必使用最轻量的模型如YOLOv5s并且可能需要进行大幅度的剪枝和量化输入尺寸也可能需要降到320x320甚至更低以满足实时性要求如30FPS。踩坑实录在边缘设备上部署最大的坑是量化。直接将浮点模型量化成INT8精度损失可能非常大尤其是对于小目标检测。解决方案是使用量化感知训练QAT即在训练过程中模拟量化的效果让模型提前适应低精度计算。但这需要修改训练代码复杂度较高。一个更实用的方法是在RKNN转换时使用校准数据集从训练集中随机抽取几百张图来统计激活值范围进行更精细的量化参数调整这通常能挽回不少精度损失。导出为TensorRT如果你在NVIDIA Jetson系列或带有NVIDIA GPU的服务器上部署TensorRT能提供极致的性能优化。python export.py --weights runs/train/exp/weights/best.pt --include engine --img 640 --batch 1 --device 0这需要你的环境已安装TensorRT。TensorRT会针对特定的GPU进行内核优化并支持FP16/INT8量化速度比直接运行PyTorch模型快很多。6. 训练过程中的常见问题与排查指南在实际操作中你肯定会遇到各种各样的问题。这里我整理了一份“排坑手册”。问题现象可能原因排查步骤与解决方案训练损失loss不下降1. 学习率设置不当太高或太低。2. 数据标注有严重错误。3. 模型结构或配置文件错误。4. 没有使用预训练权重。1. 检查hyp.yaml中的lr0尝试调高或调低一个数量级。2. 用utils.plots可视化一批训练数据看标注框是否合理。3. 检查data.yaml和模型yaml文件路径、格式是否正确。4.确保训练命令包含--weights yolov5s.pt。验证集mAP很低但训练集损失正常1. 严重过拟合。2. 训练集和验证集数据分布差异大。3. 验证集标注质量差。1. 增加数据增强强度hyp.yaml中的增强参数或使用MixUp、CutOut等。2. 检查数据集划分是否随机、均匀。确保训练集和验证集都来自同一分布。3. 可视化验证集图片和预测结果看是否是标注本身不准导致计算出的mAP低。CUDA out of memory (OOM)1.--batch-size或--img-size太大。2. 模型太大如用了yolov5x。3. GPU显存不足。1. 首先减小--batch-size如从16减到8。如果还不行减小--img-size如从640减到512。2. 换用更小的模型如从yolov5l换到yolov5m。3. 使用梯度累积--accumulate模拟更大的batch size。模型预测时置信度普遍很低1. 训练数据与测试数据分布不一致。2. 训练不充分或过早停止。3. 后处理参数置信度阈值conf-thres设置过高。1. 确保测试图片的环境、画质与训练集相似。2. 增加训练轮数--epochs或检查早停是否触发过早。3. 在推理时降低--conf-thres参数默认0.25尝试0.1或0.05。某些类别始终检测不到或精度极低1. 该类别训练样本数量严重不足。2. 该类别特征与其他类别高度相似难以区分。3. 标注中存在大量该类别的错误标签。1. 收集更多该类别数据或使用过采样、数据增强生成更多样本。2. 查看混淆矩阵确认与哪些类别混淆。考虑是否需要合并难以区分的类别。3. 重点检查并修正该类别数据的标注。一个高级调试技巧使用TensorBoardYOLOv5训练时默认会记录TensorBoard日志。在训练目录下运行tensorboard --logdir runs/train然后在浏览器打开提示的地址。你可以在这里动态查看损失曲线、指标变化、模型图、甚至每一层的权重分布直方图。这对于理解模型训练的动态过程、诊断梯度消失/爆炸等问题非常有帮助。训练一个专精于鱼类检测的YOLOv5模型就像教一个孩子认识各种各样的鱼。你需要给他看大量、多样、标注清晰的图片高质量数据集用合适的方法引导他正确的训练策略和超参数在他犯错时及时纠正分析评估指标和问题最后让他能在不同的场合都认出鱼来模型优化与部署。这个过程没有一成不变的“银弹”需要根据你的具体数据和应用场景反复迭代、调试。希望我分享的这些从数据准备到模型部署的完整链条经验和那些踩过的坑能帮你少走弯路更快地训练出满足项目需求的“水下侦察兵”。本文还有配套的精品资源点击获取