简介一套完整的无人机目标检测实战项目面向计算机视觉初学者与研究人员解决视频流中无人机目标的识别、定位与追踪问题。项目覆盖数据预处理、模型训练、检测推理等关键环节适合用于算法学习、课题设计或工程参考。压缩包共21个文件约79.25MB包含10个Python源码脚本用于数据清洗、裁剪、缩放、负样本采样、可视化等、6个预训练模型权重文件.p格式、README教程、效果演示动图与视频目录结构清晰便于按需查阅。已有179人学习浏览。通过该资源可直接加载权重进行检测也可基于源码二次开发或参考README中的流程梳理完整项目思路配有的效果展示能直观对比检测结果。从数据处理到模型微调再到结果验证这套实战资料可帮助开发者快速积累无人机目标检测的落地经验。1. 无人机目标检测为什么视频里的无人机比照片里难抓一个量级把无人机目标检测做成视频级项目难点从来不在“认得出无人机”而在“连续 30 帧里不丢、不跳、不错”。单张图上飞着的四轴YOLO 系模型很容易框住但放到视频流里运动模糊、叶片旋转造成的纹理畸变、以及背景里飞鸟和落叶的干扰会让同一个小目标在帧与帧之间频繁闪烁。这也是为什么很多入门者拿图片检测的权重直接跑视频得到的结果像幻灯片一样跳变根本没法用于跟踪或计数。这个实战项目要解决的核心问题就是在视频帧序列上稳定检测无人机并输出带置信度的检测结果为后续的目标跟踪、起降引导或反制系统提供前置信号。它适合两类人一类是刚做完 YOLO 图片检测、想往视频端落地的开发者另一类是做无人机视觉感知需要一套可复现的检测基线来评估自己算法的工程师。2. 视频检测的模型选型用 YOLO 系做无人机检测前先理顺三个约束2.1 为什么轻量化的 YOLO 反而更适合“视频里的无人机”视频检测和图片检测最大的差异是时间连续性。每秒钟要处理 25 到 30 帧单帧推理时间一旦超过 40 毫秒就会丢掉实时性。无人机在画面里通常只占几十到上百像素属于典型的小目标而小目标在特征提取阶段极易被下采样层丢弃。选择模型时不能只看 mAP要同时看输入分辨率和推理延迟的平衡。实际项目中YOLOv8n 和 YOLOv8s 是常用的起始选择前者大约 3.2M 参数RTX 3060 上单帧推理能压到 15 毫秒内后者精度更高但延迟会翻倍。如果项目允许离线处理视频文件而不要求实时才建议上 YOLOv8m 甚至更大模型。YOLOv9 和 YOLOv10 在公开数据集上分数漂亮但工程部署时对 TensorRT 和 ONNX 的算子兼容性要求更苛刻初次做视频检测不建议一上来就追新。2.2 无人机小目标的锚框与分辨率设置不是越大越好对无人机这类小目标输入分辨率比模型本身的影响更直接。项目里默认输入尺寸通常设为 640×640但如果无人机在画面里实在太小可以先观察标注框的像素分布。用脚本统计一下数据集中目标的平均宽高如果大部分框的边长小于 32 像素那 640 输入会让目标在特征图只剩 4×4 网格内的一个点特征严重丢失。此时把输入分辨率提到 960 或 1280 往往比换更大的模型更有效。代价是推理时间近乎平方级增长所以视频场景下更推荐的做法是先对原图做区域裁剪只对包含目标的局部区域做高分辨率检测而不是把整帧放大。很多项目源码里已经内置了这个逻辑用裁剪加检测的方式在保持帧率的同时提升小目标召回率。2.3 模型权重的来源与快速验证先用别人训好的权重跑通流程项目标题里带“模型权重”说明作者提供了训练好的权重文件。拿到的第一步不是直接往视频上套而是先跑一张测试图验证权重和代码版本是否匹配。YOLO 系的权重文件强绑定模型结构定义YOLOv8 的权重不能直接加载到 YOLOv5 的工程里。验证命令很简单把一张含无人机的视频帧抽出来用 detect 脚本跑一次确认能输出框、置信度、类别 ID 三个要素。如果权重是在旧版 ultralytics 包下训练的用新版库加载有时会报键值不匹配的警告这时不要慌先看警告信息里缺少的层名是哪几个常见原因是 upsampling 层命名变化而不是权重损坏。我一般会建议先跑通这条最小链路再考虑重新训练或微调。3. 跑通视频检测流程从单帧推理到全视频输出3.1 环境准备与依赖安装固定版本比追求最新更省事视频检测项目跑不起来八成是依赖版本冲突。先用 Python 3.9 或 3.10 建独立虚拟环境再安装 ultralytics、opencv-python、torch版本组合建议如下python -m venv drone_det_env source drone_det_env/bin/activate # Windows 用 drone_det_env\Scripts\activate pip install ultralytics8.0.221 torch2.0.1 torchvision0.15.1 opencv-python4.8.0.74这段命令创建虚拟环境并固定安装三个核心库。版本固定的原因是 ultralytics 每次升级都可能调整 API 接口例如model.predict()的参数名在 8.1 之后有过改动opencv 4.9 起部分视频编码器的读取方式也变了。如果你拿到的项目源码是基于 8.0.x 写的用最新库跑大概率会碰到参数不兼容的报错。装完后检查 CUDA 是否可用python -c import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))输出应为True和显卡型号。如果显示 False检查是没装 CUDA 版 PyTorch还是 NVIDIA 驱动版本过旧。视频检测项目里 CPU 推理不是不能用但 1080p 视频上帧率会掉到 5 帧以下排查问题时够用真正验证效果还是得靠 GPU。3.2 单帧验证脚本先保证一张图正确再处理视频拿到源码后先写一个四行的最小脚本验证权重和检测接口from ultralytics import YOLO model YOLO(weights/drone.pt) # 根据项目实际路径修改 results model.predict(test_frame.jpg, conf0.25, imgsz640) results[0].show()这段代码加载权重文件对单张测试图执行推理并弹出窗口显示检测结果。conf0.25是置信度阈值低于该值的框会被丢弃imgsz640指定输入分辨率。这里有两个参数值得细调conf 只影响最终框的筛选不影响模型计算而 imgsz 决定了模型前处理的缩放比例。如果单张测试图能正确框出无人机说明权重、模型结构、输入预处理链路都是通的。此时再去跑视频才有意义。如果单张图都漏检优先检查权重文件是否解压完整——.pt文件动不动上百 MB网盘下载断了不会报错但模型加载后精度会莫名其妙地低。3.3 视频推理脚本用 VideoWriter 保证编码格式不翻车视频检测的完整流程包括逐帧读取、推理、画框、写回视频文件。代码结构不复杂但容易踩编码器的坑import cv2 from ultralytics import YOLO model YOLO(weights/drone.pt) cap cv2.VideoCapture(input_video.mp4) fps cap.get(cv2.CAP_PROP_FPS) width int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # mp4v 是跨平台支持最好的编码器mp4 容器里不要用 XVID writer cv2.VideoWriter(output_video.mp4, cv2.VideoWriter_fourcc(*mp4v), fps, (width, height)) while cap.isOpened(): ret, frame cap.read() if not ret: break results model(frame, conf0.25, imgsz640) annotated_frame results[0].plot() writer.write(annotated_frame) # 按 q 键提前退出不需要实时显示时可以去掉 cv2.imshow(Detection, annotated_frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() writer.release() cv2.destroyAllWindows()这段代码把视频帧逐张送入模型推理并把标注好的帧写入新视频。几个容易出问题的地方第一writer的大小必须与原始帧尺寸一致否则写入失败或视频打不开第二results[0].plot()返回的是带框和标签的 BGR 图像直接传给 writer 即可不要再用 matplotlib 转一次否则颜色通道会被反转成偏蓝偏红的怪异色调第三如果输入视频帧率是 60输出也保持 60但模型推理速度只有 15 帧每秒写出的视频会变成慢动作。这时要么接受慢速输出要么只处理抽样帧。源码项目里通常会额外加一个--skip-frames参数每 N 帧检测一次其余帧直接复制上一帧的结果这是一种用精度换流畅度的折中方案。3.4 检测结果的保存格式不只是画出框还要留结构化数据视频检测项目的价值不只是输出一段画了框的视频还需要把检测结果以结构化格式保存方便后续分析召回率、误检率和跟踪轨迹。常见的做法是把每帧的检测信息写入 JSON 或 CSVimport csv with open(detections.csv, w, newline) as f: writer_csv csv.writer(f) writer_csv.writerow([frame_id, x1, y1, x2, y2, confidence]) frame_id 0 while cap.isOpened(): ret, frame cap.read() if not ret: break results model(frame, conf0.25) for box in results[0].boxes: x1, y1, x2, y2 box.xyxy[0].tolist() conf float(box.conf[0]) writer_csv.writerow([frame_id, round(x1), round(y1), round(x2), round(y2), round(conf, 3)]) frame_id 1保存结构化结果有几个好处一是可以在不重新跑模型的情况下用 matplotlib 绘制置信度随帧号的变化曲线直观看出模型在哪些片段抖动剧烈二是方便检查无人机轨迹的连续性如果同一目标在相邻帧的框中心发生像素级跳变说明单帧检测不稳定需要考虑要不要加跟踪器平滑三是这些数据就是后续训练跟踪器的原始样本。视频检测项目里“检测器 跟踪器”是常见的配套组合标题里的“效果展示”通常就是检测框叠加轨迹线的视频其底层依赖的就是这类逐帧坐标数据。4. 训练自己的无人机检测权重数据准备、训练参数与收敛判断4.1 无人机数据集的构成策略公开数据集打底自采视频补边界上手就自建数据集是新手常犯的错。无人机检测的公开数据集其实不少Anti-UAV 数据集多为红外或可见光视频Drone-vs-Bird 数据集专攻无人机与鸟类区分还有结合仿真环境生成的合成数据。视频检测项目里训练集不能只用静态图片必须掺入视频帧序列。视频帧的相邻画面高度相似如果直接按帧抽取会产生严重的数据冗余模型会在背景纹理上过拟合。常见的做法是每隔 10 到 15 帧抽一帧作为训练样本这样既保留动态信息又避免数据量虚胖。自采数据时也要注意固定翼无人机和多旋翼的外观差异大同一种模型权重对两类目标的泛化能力并不共享最好在数据集中明确标注机型类别否则训练出来的模型只会对训练集中占比高的机型敏感。4.2 标注格式转换从 VOC 到 YOLO 只差一个归一化但四个边界坑要避开项目源码如果自带训练数据通常已整理成 YOLO 格式的 txt 标注文件如果要加入自己的数据绕不开标注格式这一关。最常用的标注工具是 LabelImg 和 X-AnyLabeling前者输出 VOC 格式 XML后者可以直接输出 YOLO 格式。从 VOC 转 YOLO 的脚本核心逻辑只有几步import xml.etree.ElementTree as ET def convert_voc_to_yolo(xml_path, target_name, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): name obj.find(name).text if name ! target_name: continue bndbox obj.find(bndbox) x1 int(bndbox.find(xmin).text) y1 int(bndbox.find(ymin).text) x2 int(bndbox.find(xmax).text) y2 int(bndbox.find(ymax).text) # 归一化到 [0,1]中心点坐标除以宽高 x_center (x1 x2) / 2 / img_w y_center (y1 y2) / 2 / img_h w (x2 - x1) / img_w h (y2 - y1) / img_h lines.append(f0 {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) return lines转换时的第一个坑是坐标越界。靠近画面边缘的目标标注框可能刚好贴边归一化后中心点或宽高计算为负值或大于 1训练时模型输出无效。解决办法是转换后对全部标注做一次范围检查把越界的值 clamp 到 0 到 1 区间。第二个坑是图像尺寸读取错误有些脚本用 PIL 读图拿宽高有些用 OpenCV两者对图片方向信息的处理不同拿到的宽高可能互换导致标注全部偏移。第三个坑是类别 ID 与训练配置不对齐比如数据集的 class 顺序是[drone, bird]你的模型配置文件写成了[bird, drone]看起来都能训练但检测结果全是错位的。第四个坑是忽略空标注文件一张没有任何目标的样本标注文件应该是一个空 txt但有些标注工具会生成一个包含默认内容的文件训练时会导致 loss 异常偏高。4.3 训练参数与收敛判断一个批次配置表加三个观察指标训练无人机检测模型时参数设计不能直接套 COCO 的默认值。小目标场景下batch size 不宜过大因为大 batch 配合大输入分辨率会把显存吃爆。以下是常用的起始参数组合参数推荐值说明imgsz960小目标优先显存不够时降到 768batch8取决于 GPU 显存RTX 3090 可调到 16epochs200重量级模型 300轻量级 150 到 200 足够lr00.01初始学习率小数据集要降到 0.005optimizerSGD 或 AdamW数据量小选 SGD数据量大选 AdamWmosaic0.5数据增强概率无人机小目标可适当降低训练过程中不能只看 loss 曲线还要定期在验证集上推理并保存可视化结果。过拟合时 loss 会降得很好但验证集 mAP 不涨此时优先减少 mosaic 增强的强度因为 mosaic 会把多张图拼在一起小目标被裁掉边缘的概率增大反而起负作用。无人机目标在画面里占比本来就小增强策略应以保持完整缩放为主。模型训练结束后直接看验证集上的 precision 和 recall 曲线正常情况是无人机类别的 AP50 达到 0.85 左右AP50:95 达到 0.55 到 0.65。如果 AP50 高但 AP50:95 低说明检测框定位不错但框的边界不精确可尝试引入 CIoU loss 并增加回归权重。训练收敛后转换模型权重为 TensorRT 版本能显著提升视频处理帧率这一步骤放在最后一章展开讲。如果只是想拿到权重跑通视频流程用 PyTorch 原生权重就已经足够。5. 视频检测中的常见坑与排查5 条踩出来的血泪经验5.1 视频文件打不开或读取帧数不对现象cv2.VideoCapture返回 True但read()一直返回 False或者视频总帧数比实际少一半。原因OpenCV 自带 FFmpeg 支持的编码格式有限HEVC 编码的视频在 opencv-python 默认构建里经常读不了。解决先用ffprobe检查视频编码格式如果是 h265 或 hevc换用pip install opencv-python-headless并确认系统 FFmpeg 版本或者用imageio-ffmpeg库来读取。另一个隐蔽原因是视频帧率标记异常CAP_PROP_FPS返回 0写入时 fps 参数显示为 1导致输出视频时间轴不对。解决方法是手动从文件名解析帧率或用ffprobe读取实际值。5.2 检测框在视频里闪烁、目标丢失现象目标明明在画面里但模型时检时漏检测框在帧与帧之间跳变甚至消失一两帧。原因置信度阈值设定太高视频帧运动模糊导致目标外观退化模型输出分数在阈值边缘摆动。解决将conf0.25降低到0.15用跟踪器对低置信度检测结果做管理而不是直接丢弃。视频检测项目源码里如果带了 DeepSORT 或 ByteTrack 模块优先使用 ByteTrack它对低置信度检测框的容忍度更高能通过轨迹关联能力把丢失的帧补回来。很多源码项目把conf写成命令行参数--conf就是为了方便做这种调节。5.3 目标被检测出来了但类别一直错误识别成鸟现象画面上确实是无人机置信度也高但类别标签始终是 bird。原因数据集中无人机和鸟类的样本比例失衡或者负样本中背景占比过高模型学到了用“天空背景”来判断类别。解决检查训练数据里无人机与鸟类的数量比至少做到 1:3最好 1:1如果自采数据里鸟类样本少可以到公开的鸟类检测数据集中补充。另一个技巧是把鸟类样本作为负样本混合进训练集但标注时保留真实框而不是直接标记背景这样模型才能学到两类目标在形状和纹理上的差异。如果源码训练流程里没有负样本参数在 data.yaml 中把鸟类标注为单独类别即可。5.4 GPU 显存溢出训练或推理到一半报 CUDA OOM现象推理视频时跑到几百帧就报RuntimeError: CUDA out of memory重新跑又会在不同帧数处报错。原因视频帧分辨率过高模型加载时显存已占大半推理过程内存碎片化导致峰值溢出。解决先检查输入分辨率如果项目默认对原图直接推理改成先缩放后推理保持宽高比并限制长边不超过 1280 像素。推理端可以用torch.cuda.empty_cache()在每段视频之间清一次缓存但这只是治标。训练时 OOM 则要降 batch size 或 imgsz不要把 mosaic 增强打开的情况下还开大 batch。5.5 权重在单图表现好视频里泛化差现象同一模型用静态图片测试效果不错放到视频里各种漏检。原因训练时用的是清晰静态帧而视频里有大量运动模糊、焦点漂移、曝光变化这些动态退化在静态数据里几乎不存在。解决训练时增加数据增强中的 blur 强度hsv_h、hsv_s这些颜色扰动参数也要打开更重要的是在训练集中抽取真实视频关键帧不要只用截图。这一步没有捷径视频检测项目里“效果展示”环节最容易翻车的地方就在于此静态图好看和视频里稳是两回事。6. 把检测结果转换成可用的工程能力导出 INT8 模型与跟踪联调视频检测项目做完后权重还留在 PyTorch 生态里部署时通常要导出为 TensorRT 引擎。对无人机这类小目标来说INT8 量化有精度损失的风险建议先用 FP16 版本推理速度比原生 PyTorch 快 2 到 3 倍精度几乎不掉。导出步骤不复杂yolo export modelweights/drone.pt formatengine imgsz960 halfTrue导出的.engine文件只能在相同 GPU 型号、相同 TensorRT 版本上加载换机器要重新导出。生成后用engine权重重新跑一次视频推理脚本确认帧率提升的情况。如果帧率还是上不去用 Nsight Systems 或onnxruntime-gpu对比不同推理后端定位瓶颈是图像缩放预处理还是模型本身。多数视频检测项目里图像 BGR 转 RGB 和缩放归一化在 CPU 上执行这部分开销在小目标高分辨率输入下不容忽视可以用 CUDA 预处理算子把这步搬到 GPU。跟踪器联调是视频检测项目的最后一公里。建议只把跟踪器当作平滑工具不要把跟踪结果反过来参与检测决策。简单做法是维护一个保存最近五帧检测框的队列用加权平均修正当前帧框的位置这种方法对平移运动效果好对快速旋转就会产生拖尾。更专业的方案是 ByteTrack它不需要额外训练只依赖检测框的交并比做关联几百行代码就能集成到现有项目里。接入后观察两个指标目标丢失后重新接上跟踪 ID 的耗时以及同一目标是否被分配了多个 ID。这两个指标比单帧 mAP 更能反映视频检测系统的实际体验。检测模型和跟踪器协调好之后从航拍视频到目标轨迹的完整链路才算真正打通。我自己的习惯是每调完一轮参数都留一段固定测试视频做回归验证不凭肉眼感判断效果。视频检测场景太受光线和运动状态影响一次调参在某一时段有效不代表换个飞行环境依然稳健。这个习惯帮我避免了不少“这次效果特别好下次完全不行”的翻车局面。希望这篇文章能帮你把无人机视频检测项目跑通并且跑得比默认权重更稳一点。本文还有配套的精品资源点击获取 无人机视频目标检测实战：基于YOLO的模型选型与视频流稳定推理
简介一套完整的无人机目标检测实战项目面向计算机视觉初学者与研究人员解决视频流中无人机目标的识别、定位与追踪问题。项目覆盖数据预处理、模型训练、检测推理等关键环节适合用于算法学习、课题设计或工程参考。压缩包共21个文件约79.25MB包含10个Python源码脚本用于数据清洗、裁剪、缩放、负样本采样、可视化等、6个预训练模型权重文件.p格式、README教程、效果演示动图与视频目录结构清晰便于按需查阅。已有179人学习浏览。通过该资源可直接加载权重进行检测也可基于源码二次开发或参考README中的流程梳理完整项目思路配有的效果展示能直观对比检测结果。从数据处理到模型微调再到结果验证这套实战资料可帮助开发者快速积累无人机目标检测的落地经验。1. 无人机目标检测为什么视频里的无人机比照片里难抓一个量级把无人机目标检测做成视频级项目难点从来不在“认得出无人机”而在“连续 30 帧里不丢、不跳、不错”。单张图上飞着的四轴YOLO 系模型很容易框住但放到视频流里运动模糊、叶片旋转造成的纹理畸变、以及背景里飞鸟和落叶的干扰会让同一个小目标在帧与帧之间频繁闪烁。这也是为什么很多入门者拿图片检测的权重直接跑视频得到的结果像幻灯片一样跳变根本没法用于跟踪或计数。这个实战项目要解决的核心问题就是在视频帧序列上稳定检测无人机并输出带置信度的检测结果为后续的目标跟踪、起降引导或反制系统提供前置信号。它适合两类人一类是刚做完 YOLO 图片检测、想往视频端落地的开发者另一类是做无人机视觉感知需要一套可复现的检测基线来评估自己算法的工程师。2. 视频检测的模型选型用 YOLO 系做无人机检测前先理顺三个约束2.1 为什么轻量化的 YOLO 反而更适合“视频里的无人机”视频检测和图片检测最大的差异是时间连续性。每秒钟要处理 25 到 30 帧单帧推理时间一旦超过 40 毫秒就会丢掉实时性。无人机在画面里通常只占几十到上百像素属于典型的小目标而小目标在特征提取阶段极易被下采样层丢弃。选择模型时不能只看 mAP要同时看输入分辨率和推理延迟的平衡。实际项目中YOLOv8n 和 YOLOv8s 是常用的起始选择前者大约 3.2M 参数RTX 3060 上单帧推理能压到 15 毫秒内后者精度更高但延迟会翻倍。如果项目允许离线处理视频文件而不要求实时才建议上 YOLOv8m 甚至更大模型。YOLOv9 和 YOLOv10 在公开数据集上分数漂亮但工程部署时对 TensorRT 和 ONNX 的算子兼容性要求更苛刻初次做视频检测不建议一上来就追新。2.2 无人机小目标的锚框与分辨率设置不是越大越好对无人机这类小目标输入分辨率比模型本身的影响更直接。项目里默认输入尺寸通常设为 640×640但如果无人机在画面里实在太小可以先观察标注框的像素分布。用脚本统计一下数据集中目标的平均宽高如果大部分框的边长小于 32 像素那 640 输入会让目标在特征图只剩 4×4 网格内的一个点特征严重丢失。此时把输入分辨率提到 960 或 1280 往往比换更大的模型更有效。代价是推理时间近乎平方级增长所以视频场景下更推荐的做法是先对原图做区域裁剪只对包含目标的局部区域做高分辨率检测而不是把整帧放大。很多项目源码里已经内置了这个逻辑用裁剪加检测的方式在保持帧率的同时提升小目标召回率。2.3 模型权重的来源与快速验证先用别人训好的权重跑通流程项目标题里带“模型权重”说明作者提供了训练好的权重文件。拿到的第一步不是直接往视频上套而是先跑一张测试图验证权重和代码版本是否匹配。YOLO 系的权重文件强绑定模型结构定义YOLOv8 的权重不能直接加载到 YOLOv5 的工程里。验证命令很简单把一张含无人机的视频帧抽出来用 detect 脚本跑一次确认能输出框、置信度、类别 ID 三个要素。如果权重是在旧版 ultralytics 包下训练的用新版库加载有时会报键值不匹配的警告这时不要慌先看警告信息里缺少的层名是哪几个常见原因是 upsampling 层命名变化而不是权重损坏。我一般会建议先跑通这条最小链路再考虑重新训练或微调。3. 跑通视频检测流程从单帧推理到全视频输出3.1 环境准备与依赖安装固定版本比追求最新更省事视频检测项目跑不起来八成是依赖版本冲突。先用 Python 3.9 或 3.10 建独立虚拟环境再安装 ultralytics、opencv-python、torch版本组合建议如下python -m venv drone_det_env source drone_det_env/bin/activate # Windows 用 drone_det_env\Scripts\activate pip install ultralytics8.0.221 torch2.0.1 torchvision0.15.1 opencv-python4.8.0.74这段命令创建虚拟环境并固定安装三个核心库。版本固定的原因是 ultralytics 每次升级都可能调整 API 接口例如model.predict()的参数名在 8.1 之后有过改动opencv 4.9 起部分视频编码器的读取方式也变了。如果你拿到的项目源码是基于 8.0.x 写的用最新库跑大概率会碰到参数不兼容的报错。装完后检查 CUDA 是否可用python -c import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))输出应为True和显卡型号。如果显示 False检查是没装 CUDA 版 PyTorch还是 NVIDIA 驱动版本过旧。视频检测项目里 CPU 推理不是不能用但 1080p 视频上帧率会掉到 5 帧以下排查问题时够用真正验证效果还是得靠 GPU。3.2 单帧验证脚本先保证一张图正确再处理视频拿到源码后先写一个四行的最小脚本验证权重和检测接口from ultralytics import YOLO model YOLO(weights/drone.pt) # 根据项目实际路径修改 results model.predict(test_frame.jpg, conf0.25, imgsz640) results[0].show()这段代码加载权重文件对单张测试图执行推理并弹出窗口显示检测结果。conf0.25是置信度阈值低于该值的框会被丢弃imgsz640指定输入分辨率。这里有两个参数值得细调conf 只影响最终框的筛选不影响模型计算而 imgsz 决定了模型前处理的缩放比例。如果单张测试图能正确框出无人机说明权重、模型结构、输入预处理链路都是通的。此时再去跑视频才有意义。如果单张图都漏检优先检查权重文件是否解压完整——.pt文件动不动上百 MB网盘下载断了不会报错但模型加载后精度会莫名其妙地低。3.3 视频推理脚本用 VideoWriter 保证编码格式不翻车视频检测的完整流程包括逐帧读取、推理、画框、写回视频文件。代码结构不复杂但容易踩编码器的坑import cv2 from ultralytics import YOLO model YOLO(weights/drone.pt) cap cv2.VideoCapture(input_video.mp4) fps cap.get(cv2.CAP_PROP_FPS) width int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # mp4v 是跨平台支持最好的编码器mp4 容器里不要用 XVID writer cv2.VideoWriter(output_video.mp4, cv2.VideoWriter_fourcc(*mp4v), fps, (width, height)) while cap.isOpened(): ret, frame cap.read() if not ret: break results model(frame, conf0.25, imgsz640) annotated_frame results[0].plot() writer.write(annotated_frame) # 按 q 键提前退出不需要实时显示时可以去掉 cv2.imshow(Detection, annotated_frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() writer.release() cv2.destroyAllWindows()这段代码把视频帧逐张送入模型推理并把标注好的帧写入新视频。几个容易出问题的地方第一writer的大小必须与原始帧尺寸一致否则写入失败或视频打不开第二results[0].plot()返回的是带框和标签的 BGR 图像直接传给 writer 即可不要再用 matplotlib 转一次否则颜色通道会被反转成偏蓝偏红的怪异色调第三如果输入视频帧率是 60输出也保持 60但模型推理速度只有 15 帧每秒写出的视频会变成慢动作。这时要么接受慢速输出要么只处理抽样帧。源码项目里通常会额外加一个--skip-frames参数每 N 帧检测一次其余帧直接复制上一帧的结果这是一种用精度换流畅度的折中方案。3.4 检测结果的保存格式不只是画出框还要留结构化数据视频检测项目的价值不只是输出一段画了框的视频还需要把检测结果以结构化格式保存方便后续分析召回率、误检率和跟踪轨迹。常见的做法是把每帧的检测信息写入 JSON 或 CSVimport csv with open(detections.csv, w, newline) as f: writer_csv csv.writer(f) writer_csv.writerow([frame_id, x1, y1, x2, y2, confidence]) frame_id 0 while cap.isOpened(): ret, frame cap.read() if not ret: break results model(frame, conf0.25) for box in results[0].boxes: x1, y1, x2, y2 box.xyxy[0].tolist() conf float(box.conf[0]) writer_csv.writerow([frame_id, round(x1), round(y1), round(x2), round(y2), round(conf, 3)]) frame_id 1保存结构化结果有几个好处一是可以在不重新跑模型的情况下用 matplotlib 绘制置信度随帧号的变化曲线直观看出模型在哪些片段抖动剧烈二是方便检查无人机轨迹的连续性如果同一目标在相邻帧的框中心发生像素级跳变说明单帧检测不稳定需要考虑要不要加跟踪器平滑三是这些数据就是后续训练跟踪器的原始样本。视频检测项目里“检测器 跟踪器”是常见的配套组合标题里的“效果展示”通常就是检测框叠加轨迹线的视频其底层依赖的就是这类逐帧坐标数据。4. 训练自己的无人机检测权重数据准备、训练参数与收敛判断4.1 无人机数据集的构成策略公开数据集打底自采视频补边界上手就自建数据集是新手常犯的错。无人机检测的公开数据集其实不少Anti-UAV 数据集多为红外或可见光视频Drone-vs-Bird 数据集专攻无人机与鸟类区分还有结合仿真环境生成的合成数据。视频检测项目里训练集不能只用静态图片必须掺入视频帧序列。视频帧的相邻画面高度相似如果直接按帧抽取会产生严重的数据冗余模型会在背景纹理上过拟合。常见的做法是每隔 10 到 15 帧抽一帧作为训练样本这样既保留动态信息又避免数据量虚胖。自采数据时也要注意固定翼无人机和多旋翼的外观差异大同一种模型权重对两类目标的泛化能力并不共享最好在数据集中明确标注机型类别否则训练出来的模型只会对训练集中占比高的机型敏感。4.2 标注格式转换从 VOC 到 YOLO 只差一个归一化但四个边界坑要避开项目源码如果自带训练数据通常已整理成 YOLO 格式的 txt 标注文件如果要加入自己的数据绕不开标注格式这一关。最常用的标注工具是 LabelImg 和 X-AnyLabeling前者输出 VOC 格式 XML后者可以直接输出 YOLO 格式。从 VOC 转 YOLO 的脚本核心逻辑只有几步import xml.etree.ElementTree as ET def convert_voc_to_yolo(xml_path, target_name, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): name obj.find(name).text if name ! target_name: continue bndbox obj.find(bndbox) x1 int(bndbox.find(xmin).text) y1 int(bndbox.find(ymin).text) x2 int(bndbox.find(xmax).text) y2 int(bndbox.find(ymax).text) # 归一化到 [0,1]中心点坐标除以宽高 x_center (x1 x2) / 2 / img_w y_center (y1 y2) / 2 / img_h w (x2 - x1) / img_w h (y2 - y1) / img_h lines.append(f0 {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) return lines转换时的第一个坑是坐标越界。靠近画面边缘的目标标注框可能刚好贴边归一化后中心点或宽高计算为负值或大于 1训练时模型输出无效。解决办法是转换后对全部标注做一次范围检查把越界的值 clamp 到 0 到 1 区间。第二个坑是图像尺寸读取错误有些脚本用 PIL 读图拿宽高有些用 OpenCV两者对图片方向信息的处理不同拿到的宽高可能互换导致标注全部偏移。第三个坑是类别 ID 与训练配置不对齐比如数据集的 class 顺序是[drone, bird]你的模型配置文件写成了[bird, drone]看起来都能训练但检测结果全是错位的。第四个坑是忽略空标注文件一张没有任何目标的样本标注文件应该是一个空 txt但有些标注工具会生成一个包含默认内容的文件训练时会导致 loss 异常偏高。4.3 训练参数与收敛判断一个批次配置表加三个观察指标训练无人机检测模型时参数设计不能直接套 COCO 的默认值。小目标场景下batch size 不宜过大因为大 batch 配合大输入分辨率会把显存吃爆。以下是常用的起始参数组合参数推荐值说明imgsz960小目标优先显存不够时降到 768batch8取决于 GPU 显存RTX 3090 可调到 16epochs200重量级模型 300轻量级 150 到 200 足够lr00.01初始学习率小数据集要降到 0.005optimizerSGD 或 AdamW数据量小选 SGD数据量大选 AdamWmosaic0.5数据增强概率无人机小目标可适当降低训练过程中不能只看 loss 曲线还要定期在验证集上推理并保存可视化结果。过拟合时 loss 会降得很好但验证集 mAP 不涨此时优先减少 mosaic 增强的强度因为 mosaic 会把多张图拼在一起小目标被裁掉边缘的概率增大反而起负作用。无人机目标在画面里占比本来就小增强策略应以保持完整缩放为主。模型训练结束后直接看验证集上的 precision 和 recall 曲线正常情况是无人机类别的 AP50 达到 0.85 左右AP50:95 达到 0.55 到 0.65。如果 AP50 高但 AP50:95 低说明检测框定位不错但框的边界不精确可尝试引入 CIoU loss 并增加回归权重。训练收敛后转换模型权重为 TensorRT 版本能显著提升视频处理帧率这一步骤放在最后一章展开讲。如果只是想拿到权重跑通视频流程用 PyTorch 原生权重就已经足够。5. 视频检测中的常见坑与排查5 条踩出来的血泪经验5.1 视频文件打不开或读取帧数不对现象cv2.VideoCapture返回 True但read()一直返回 False或者视频总帧数比实际少一半。原因OpenCV 自带 FFmpeg 支持的编码格式有限HEVC 编码的视频在 opencv-python 默认构建里经常读不了。解决先用ffprobe检查视频编码格式如果是 h265 或 hevc换用pip install opencv-python-headless并确认系统 FFmpeg 版本或者用imageio-ffmpeg库来读取。另一个隐蔽原因是视频帧率标记异常CAP_PROP_FPS返回 0写入时 fps 参数显示为 1导致输出视频时间轴不对。解决方法是手动从文件名解析帧率或用ffprobe读取实际值。5.2 检测框在视频里闪烁、目标丢失现象目标明明在画面里但模型时检时漏检测框在帧与帧之间跳变甚至消失一两帧。原因置信度阈值设定太高视频帧运动模糊导致目标外观退化模型输出分数在阈值边缘摆动。解决将conf0.25降低到0.15用跟踪器对低置信度检测结果做管理而不是直接丢弃。视频检测项目源码里如果带了 DeepSORT 或 ByteTrack 模块优先使用 ByteTrack它对低置信度检测框的容忍度更高能通过轨迹关联能力把丢失的帧补回来。很多源码项目把conf写成命令行参数--conf就是为了方便做这种调节。5.3 目标被检测出来了但类别一直错误识别成鸟现象画面上确实是无人机置信度也高但类别标签始终是 bird。原因数据集中无人机和鸟类的样本比例失衡或者负样本中背景占比过高模型学到了用“天空背景”来判断类别。解决检查训练数据里无人机与鸟类的数量比至少做到 1:3最好 1:1如果自采数据里鸟类样本少可以到公开的鸟类检测数据集中补充。另一个技巧是把鸟类样本作为负样本混合进训练集但标注时保留真实框而不是直接标记背景这样模型才能学到两类目标在形状和纹理上的差异。如果源码训练流程里没有负样本参数在 data.yaml 中把鸟类标注为单独类别即可。5.4 GPU 显存溢出训练或推理到一半报 CUDA OOM现象推理视频时跑到几百帧就报RuntimeError: CUDA out of memory重新跑又会在不同帧数处报错。原因视频帧分辨率过高模型加载时显存已占大半推理过程内存碎片化导致峰值溢出。解决先检查输入分辨率如果项目默认对原图直接推理改成先缩放后推理保持宽高比并限制长边不超过 1280 像素。推理端可以用torch.cuda.empty_cache()在每段视频之间清一次缓存但这只是治标。训练时 OOM 则要降 batch size 或 imgsz不要把 mosaic 增强打开的情况下还开大 batch。5.5 权重在单图表现好视频里泛化差现象同一模型用静态图片测试效果不错放到视频里各种漏检。原因训练时用的是清晰静态帧而视频里有大量运动模糊、焦点漂移、曝光变化这些动态退化在静态数据里几乎不存在。解决训练时增加数据增强中的 blur 强度hsv_h、hsv_s这些颜色扰动参数也要打开更重要的是在训练集中抽取真实视频关键帧不要只用截图。这一步没有捷径视频检测项目里“效果展示”环节最容易翻车的地方就在于此静态图好看和视频里稳是两回事。6. 把检测结果转换成可用的工程能力导出 INT8 模型与跟踪联调视频检测项目做完后权重还留在 PyTorch 生态里部署时通常要导出为 TensorRT 引擎。对无人机这类小目标来说INT8 量化有精度损失的风险建议先用 FP16 版本推理速度比原生 PyTorch 快 2 到 3 倍精度几乎不掉。导出步骤不复杂yolo export modelweights/drone.pt formatengine imgsz960 halfTrue导出的.engine文件只能在相同 GPU 型号、相同 TensorRT 版本上加载换机器要重新导出。生成后用engine权重重新跑一次视频推理脚本确认帧率提升的情况。如果帧率还是上不去用 Nsight Systems 或onnxruntime-gpu对比不同推理后端定位瓶颈是图像缩放预处理还是模型本身。多数视频检测项目里图像 BGR 转 RGB 和缩放归一化在 CPU 上执行这部分开销在小目标高分辨率输入下不容忽视可以用 CUDA 预处理算子把这步搬到 GPU。跟踪器联调是视频检测项目的最后一公里。建议只把跟踪器当作平滑工具不要把跟踪结果反过来参与检测决策。简单做法是维护一个保存最近五帧检测框的队列用加权平均修正当前帧框的位置这种方法对平移运动效果好对快速旋转就会产生拖尾。更专业的方案是 ByteTrack它不需要额外训练只依赖检测框的交并比做关联几百行代码就能集成到现有项目里。接入后观察两个指标目标丢失后重新接上跟踪 ID 的耗时以及同一目标是否被分配了多个 ID。这两个指标比单帧 mAP 更能反映视频检测系统的实际体验。检测模型和跟踪器协调好之后从航拍视频到目标轨迹的完整链路才算真正打通。我自己的习惯是每调完一轮参数都留一段固定测试视频做回归验证不凭肉眼感判断效果。视频检测场景太受光线和运动状态影响一次调参在某一时段有效不代表换个飞行环境依然稳健。这个习惯帮我避免了不少“这次效果特别好下次完全不行”的翻车局面。希望这篇文章能帮你把无人机视频检测项目跑通并且跑得比默认权重更稳一点。本文还有配套的精品资源点击获取