YOLOv12船舶识别系统：从数据标注到部署全流程-尧图网站建设

1. 项目概述：当YOLOv12遇上船舶识别

去年夏天我在港口调研时，发现传统人工记录船舶信息的方式存在明显效率瓶颈。值班人员需要肉眼识别船型并手动登记，在雾天或夜间经常出现误判。这促使我尝试用最新的YOLOv12构建船舶识别系统，实测在能见度不足100米的情况下，系统仍能保持92%以上的识别准确率。

这个项目完整实现了从数据标注到部署应用的全流程，包含以下核心模块：

基于VisDrone数据集改进的专用船舶数据集（含6类常见船型）
支持多用户管理的登录注册系统（采用Flask+MySQL架构）
采用PyQt5开发的可视化操作界面（集成模型切换和结果导出功能）
针对船舶场景优化的YOLOv12模型（修改了neck部分结构）
完整的Python项目源码（含训练、推理、部署全流程代码）

关键提示：项目已适配Windows/Linux双平台运行，对显卡要求最低为GTX 1660（6GB显存）

2. 核心设计思路与技术选型

2.1 为什么选择YOLOv12？

在比较了YOLOv8、YOLOv9和PP-YOLOE之后，最终选择YOLOv12主要基于三个考量：

对小目标检测的优化：船舶图像中经常出现远距离小船（仅占图像5%以下像素），YOLOv12的SPPFCSPC模块能有效提升小目标召回率
实时性要求：港口监控需要30FPS以上的处理速度，YOLOv12在RTX 3060上实测达到37FPS
模型泛化能力：通过测试集验证，YOLOv12在雾天、雨天场景的mAP比v8高6.2%

模型改进点包括：

将原生的CIoU损失函数替换为SIoU（更适合船舶的长宽比特性）
在neck部分增加CBAM注意力模块（提升密集船只场景的区分度）
输入分辨率调整为1280x768（适配监控摄像头常见比例）

2.2 数据集构建要点

原始数据来自两个渠道：

VisDrone数据集中的海上场景（约1200张含船舶图像）
自行采集的港口监控视频（通过抽帧获得800张补充图像）

标注过程使用LabelImg工具，需特别注意：

# 标注文件保存设置 python labelImg.py [图像路径] [预定义类别文件] --save_ext txt --autosave

类别定义包含：

cargo_ship（货轮）
fishing_boat（渔船）
passenger_ship（客船）
speed_boat（快艇）
tugboat（拖船）
warship（军舰）

常见坑：夜间图像标注时要调整亮度（建议用GIMP先做gamma校正到1.5）

3. 系统实现关键细节

3.1 深度学习环境配置

推荐使用conda创建隔离环境：

conda create -n ship_detect python=3.8 conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch pip install -r requirements.txt # 包含opencv-python==4.5.5.64, pyqt5==5.15.7

显卡驱动配置要点：

NVIDIA驱动版本≥510.47.03
CUDA Toolkit 11.3配合cuDNN 8.4.0
对于无GPU环境，可在export.yml中设置device: cpu

3.2 模型训练参数详解

核心训练配置（ship.yaml）：

train: ../datasets/ships/images/train val: ../datasets/ships/images/val nc: 6 # 类别数 names: ['cargo_ship', 'fishing_boat', 'passenger_ship', 'speed_boat', 'tugboat', 'warship'] # 超参数设置 lr0: 0.01 # 初始学习率 lrf: 0.1 # 最终学习率倍数 momentum: 0.937 weight_decay: 0.0005 warmup_epochs: 3.0

启动训练命令：

python train.py --img 1280 --batch 16 --epochs 100 --data ship.yaml --cfg models/yolov12s-ship.yaml --weights yolov12s.pt

3.3 UI界面功能实现

PyQt5主要界面组件：

视频流显示区：采用OpenCV的Qt绑定（cv2.VideoCapture→QImage）
模型控制面板：
- 实时FPS显示（QTimer定时刷新）
- 置信度阈值滑块（QSlider控件）
- 船型统计表格（QTableWidget）
数据导出功能：
- 截图保存（QPixmap.grab()）
- 检测结果导出CSV（pandas.DataFrame.to_csv）

关键信号槽连接示例：

self.ui.slider_conf.valueChanged.connect( lambda: self.detector.set_conf_thres(self.ui.slider_conf.value()/100))

4. 部署优化与性能调优

4.1 TensorRT加速实践

模型转换步骤：

导出ONNX格式：

python export.py --weights runs/train/exp/weights/best.pt --include onnx --img 1280

生成TensorRT引擎：

trtexec --onnx=best.onnx --saveEngine=best.engine --fp16 --workspace=2048

性能对比（RTX 3060）：

推理方式	耗时(ms)	内存占用(MB)
原始PyTorch	28.4	1243
TensorRT-FP32	16.7	897
TensorRT-FP16	11.2	763

4.2 常见问题排查指南

问题1：检测框漂移

现象：晴天检测正常，雨天出现框位置偏移
解决方案：在data augment中增加更多模糊和雨滴模拟
修改train.py的--hyp参数：

hsv_h: 0.015 # 色相抖动增强 hsv_s: 0.7 # 饱和度增强 hsv_v: 0.4 # 明度增强

问题2：漏检小型渔船

检查项：
1. 标注是否包含远处小目标（至少3x3像素）
2. 验证集mAP@0.5:0.95是否＞0.65
3. 测试--img-size是否≥1280
改进方案：在model.yaml中增加小目标检测层

head: - [15, 18, 21] # 原P3-P5 - [9, 12, 15] # 新增P2层

5. 系统功能扩展方向

5.1 多摄像头协同分析

通过RTSP协议接入多个监控源：

caps = { 'north': cv2.VideoCapture("rtsp://admin:password@192.168.1.101/stream1"), 'south': cv2.VideoCapture("rtsp://admin:password@192.168.1.102/stream1") }

关键实现技巧：

采用多线程处理（建议用ThreadPoolExecutor）
共享同一个模型实例（避免重复加载）
使用队列机制平衡各通道处理速度

5.2 船舶行为分析模块

基于检测结果的扩展分析：

停靠时间统计：

if track_id not in self.berth_times: self.berth_times[track_id] = time.time() else: dwell_time = time.time() - self.berth_times[track_id] if dwell_time > 3600: # 超时告警 self.send_alert(f"ship {track_id} overtime")

航迹预测：采用Kalman滤波器预测运动轨迹需要额外安装filterpy库：

pip install filterpy

这个项目最让我惊喜的是YOLOv12在复杂海况下的稳定性——在测试中成功识别出了距离3公里外（图像中仅占8x6像素）的渔船。建议在实际部署时，配合大焦距镜头和防抖云台使用效果更佳。

资讯详情

YOLOv12船舶识别系统：从数据标注到部署全流程