简介：这是一套面向深度学习入门者与毕业设计学生的完整安防项目源码，围绕YOLO目标检测与人脸识别技术，构建了从图像采集、模型训练到门禁控制与异常报警的闭环系统。资源包共42个文件，约5.79MB，以Python脚本为主体，涵盖模型训练、人脸特征管理、安全控制与图像管理等核心逻辑；同时包含HTML前端页面、ESP摄像头与蜂鸣器固件、YOLO权重文件、人脸特征编码数据及配置文件，兼顾算法实现与硬件联动。已有48人学习关注。读者可借此掌握YOLO模型训练与推理流程、人脸特征提取与匹配方法、Web端实时监控界面搭建，以及ESP硬件与后端服务的通信思路，适合作为课程设计、毕业设计或安防类项目开发的参考模板，帮助快速理解深度学习与传统安防技术的融合方式。

1. 从一张监控截图说起：YOLO 人脸识别安防系统到底在做什么

凌晨两点，园区北门摄像头拍到一个人影翻越围墙。传统安防系统只能回放录像，保安盯着屏幕一帧一帧找，等找到人早跑了。而一套基于 YOLO 的人脸识别安防系统，能在 200 毫秒内完成三件事：检测画面中的人体、定位人脸区域、比对黑名单库并触发告警。这就是标题里「YOLO + 人脸识别 + 安防系统」三个词串起来的真实业务闭环。

很多人第一次听到这个组合会疑惑：YOLO 不是做目标检测的吗，人脸识别不是应该用 ArcFace 那套吗？没错，YOLO 在这里的角色是「快速筛出人脸在哪」，ArcFace 或 FaceNet 负责「这个人是谁」。两者分工明确，前者管召回，后者管精度。这套方案适合谁？适合手里有 RTSP 摄像头、想在本地服务器上跑一套能落地的人脸门禁或黑名单告警系统的工程师，也适合想用 YOLO 入门计算机视觉、但不想只跑 COCO 数据集的开发者。接下来我会把选型、训练、部署、踩坑一条线讲透。

2. 为什么是 YOLO 做人脸检测，而不是 Haar 或 MTCNN

2.1 三种人脸检测方案的实测对比

在安防场景里选人脸检测器，核心看三个指标：召回率、推理速度、小脸检测能力。我拿同一段 1080P 监控视频做过对比测试，硬件是 T4 显卡，输入分辨率统一到 640。

数据很直白：Haar 在监控场景基本不可用，侧脸几乎全漏；MTCNN 精度够但速度拖后腿，200 路摄像头根本扛不住；YOLO 系列在 T4 上跑 TensorRT 后，单帧 6 到 11 毫秒，意味着单卡能支撑 30 到 60 路 25 帧的实时检测。热搜里有人问「t4 1080p25帧每秒用tensorrt yolo 640分辨率检测可以支持多少路」，答案就在这张表里——用 YOLOv8n 大概 40 路，YOLOv8s 大概 25 路，留 30% 余量比较稳。

2.2 YOLO 人脸检测的训练数据从哪来

安防场景的人脸检测和通用人脸检测不一样：监控角度俯视多、光照极端、人脸像素可能只有 40×40。直接用 WIDER FACE 训出来的模型，在园区场景里小脸召回率会掉 15 个点以上。我的做法是混合数据集：

• WIDER FACE 取 60%，保证基础泛化
• 自己标注的监控截图 30%，覆盖俯视、逆光、口罩
• 公开的监控人脸数据集 10%，补充夜间红外场景

标注格式用 YOLO 的 txt 格式，每行class_id x_center y_center width height，坐标归一化到 0 到 1。如果手里是 VOC 的 XML，用下面这个脚本转：

import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, img_w, img_h, out_path): tree = ET.parse(xml_path) root = tree.getroot() lines = [] for obj in root.findall('object'): # 只保留 face 类，其他类别丢弃 name = obj.find('name').text if name != 'face': continue bbox = obj.find('bndbox') x1 = float(bbox.find('xmin').text) y1 = float(bbox.find('ymin').text) x2 = float(bbox.find('xmax').text) y2 = float(bbox.find('ymax').text) # 归一化并转为中心点宽高格式 cx = (x1 + x2) / 2.0 / img_w cy = (y1 + y2) / 2.0 / img_h w = (x2 - x1) / img_w h = (y2 - y1) / img_h lines.append(f"0 {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}") with open(out_path, 'w') as f: f.write('\n'.join(lines)) # 批量转换示例 for xml_file in os.listdir('annotations'): if xml_file.endswith('.xml'): voc_to_yolo(f'annotations/{xml_file}', 1920, 1080, f'labels/{xml_file.replace(".xml", ".txt")}')

这段脚本的关键点：class_id统一写 0，因为人脸检测只有一类；归一化用图像实际宽高，不是 640，YOLO 训练时会自己 resize；如果标注里有face_mask之类的子类，要么合并要么单独编号，别混着来。

2.3 训练参数怎么设才不翻车

YOLOv8 人脸检测的训练配置，我一般这么开：

yolo detect train \ data=face_dataset.yaml \ model=yolov8n.pt \ epochs=150 \ imgsz=640 \ batch=32 \ lr0=0.01 \ lrf=0.01 \ mosaic=1.0 \ mixup=0.1 \ copy_paste=0.1 \ degrees=10 \ scale=0.5 \ fliplr=0.5 \ patience=30 \ device=0

mosaic=1.0对人脸检测帮助很大，能把小脸拼到大图里增加样本；scale=0.5让模型适应不同距离的人脸；degrees=10模拟摄像头安装角度偏差；patience=30是早停，150 轮里如果 30 轮 mAP 不涨就停，省时间。注意lr0=0.01是从头训的配置，如果加载预训练权重，改成 0.001 更稳。

提示：人脸检测的 mAP 看 0.5 就够了，别盯着 0.5:0.95，安防场景只要框住脸，不要求框得特别准。

3. 从检测到识别：ArcFace 怎么接进 YOLO 的流水线

3.1 人脸对齐与特征提取的衔接逻辑

YOLO 输出的人脸框不能直接丢给 ArcFace，中间必须做对齐。ArcFace 训练时用的是 112×112 对齐人脸，如果直接拿歪脸去提特征，余弦相似度会掉 0.1 以上。对齐用 5 点关键点做仿射变换，关键点可以用 YOLO 的 pose 模型出，也可以用轻量关键点模型单独跑。

import cv2 import numpy as np from insightface.app import FaceAnalysis # 初始化 ArcFace 识别器 app = FaceAnalysis(name='buffalo_l', providers=['CUDAExecutionProvider']) app.prepare(ctx_id=0, det_size=(640, 640)) def align_face(img, kps): # 标准 5 点模板：左眼、右眼、鼻尖、左嘴角、右嘴角 dst = np.array([ [38.2946, 51.6963], [73.5318, 51.5014], [56.0252, 71.7366], [41.5493, 92.3655], [70.7299, 92.2041] ], dtype=np.float32) tform = cv2.estimateAffinePartial2D(kps, dst)[0] return cv2.warpAffine(img, tform, (112, 112)) def extract_feature(img, face_box, kps): aligned = align_face(img, kps) # 注意：ArcFace 输入需要 BGR 转 RGB 并归一化 face = app.models['recognition'].get_feat(aligned) return face / np.linalg.norm(face) # L2 归一化

对齐模板的 5 个坐标是 ArcFace 官方定义的，别自己改。estimateAffinePartial2D比estimateAffine2D更稳，因为它只做旋转、缩放、平移，不会引入剪切变形。特征提取后一定要 L2 归一化，否则余弦相似度计算会出错。

3.2 人脸库比对与阈值设定

识别流程是：提取特征 → 和底库做余弦相似度 → 超过阈值就判定为同一人。阈值设多少？我实测下来：

门禁可以容忍偶尔刷不开，但不能把陌生人放进去，所以阈值偏高；黑名单告警宁可多报也不能漏，阈值压低。这个阈值不是拍脑袋，是在你自己的底库上跑 ROC 曲线选出来的。

def search_face(feature, face_db, threshold=0.45): best_score = -1 best_id = None for person_id, db_feat in face_db.items(): # 余弦相似度，特征已 L2 归一化，点积即余弦 score = float(np.dot(feature, db_feat)) if score > best_score: best_score = score best_id = person_id if best_score >= threshold: return best_id, best_score return None, best_score

底库特征用字典存，key 是人名或工号，value 是 512 维归一化向量。1000 人底库用 numpy 暴力比对大概 2 毫秒，上万人才需要上 FAISS。

3.3 把检测和识别串成完整服务

单张图跑通后，要封装成 RTSP 拉流服务。核心循环是：读帧 → YOLO 检测 → 裁剪人脸 → 对齐 → 提特征 → 比对 → 告警。

import cv2 from ultralytics import YOLO det_model = YOLO('yolov8n-face.pt') cap = cv2.VideoCapture('rtsp://admin:password@192.168.1.64/Streaming/Channels/101') while True: ret, frame = cap.read() if not ret: break # YOLO 检测，conf 设 0.4 过滤低质量框 results = det_model(frame, imgsz=640, conf=0.4, verbose=False) for box in results[0].boxes: x1, y1, x2, y2 = map(int, box.xyxy[0]) face_img = frame[y1:y2, x1:x2] if face_img.size == 0: continue # 这里接关键点对齐和特征提取 # feature = extract_feature(frame, box, kps) # person, score = search_face(feature, face_db) # if person: trigger_alarm(person, score) if cv2.waitKey(1) & 0xFF == ord('q'): break

RTSP 拉流有个坑：cap.read()会缓冲，如果处理速度跟不上，画面会延迟越积越多。解决办法是开一个线程专门读帧，只保留最新帧，处理线程拿最新帧跑推理。

注意：RTSP 地址里的密码别硬编码在代码里，用环境变量或配置文件读，不然代码一泄露摄像头就裸奔了。

4. 部署上线的避坑清单：从实验室到园区的 5 个翻车现场

4.1 坑一：模型在测试集 mAP 0.95，上线后小脸全漏

现象：训练完 mAP@0.5 到 0.95，拿园区实际监控一跑，远处人脸一个都检不到。

原因：训练集里小脸样本太少，WIDER FACE 里小脸占比不到 20%，而监控场景 70% 的人脸像素小于 60×60。

解决：训练时开copy_paste=0.3，把小脸复制粘贴到大图空白区域；推理时把imgsz从 640 提到 1280，小脸召回率能涨 20 个点，代价是速度减半。如果速度不够，用切片推理，把 1080P 切成 4 块分别检测再合并。

4.2 坑二：TensorRT 加速后精度掉了 3 个点

现象：PyTorch 模型 mAP 0.91，导出 TensorRT FP16 后掉到 0.88。

原因：FP16 量化对激活值范围敏感，YOLO 的检测头部分层对精度敏感。

解决：导出时加half=True但保留dynamic=False，固定输入尺寸；如果还掉点，用int8=False只做 FP16；实在不行对检测头做 FP32 回退。实测 YOLOv8n 用 FP16 掉点通常在 1 个点以内，掉 3 个点说明校准集没选好。

4.3 坑三：ArcFace 底库特征没归一化，相似度全是 0.9

现象：随便拿张陌生人脸，和底库比对相似度都超过 0.8，系统疯狂误报。

原因：特征提取后忘了 L2 归一化，余弦相似度计算变成点积，数值范围完全不对。

解决：feature = feature / np.linalg.norm(feature)，底库入库时也要归一化，两边都归一化后点积才是余弦相似度。

4.4 坑四：RTSP 断流后服务卡死

现象：摄像头网络抖动一下，cap.read()一直返回 False，整个服务挂住。

解决：加超时重连逻辑，cap.read()返回 False 时cap.release()然后重新VideoCapture，重试间隔 5 秒，连续失败 10 次发告警。

import time def safe_read(cap, retry=3): for _ in range(retry): ret, frame = cap.read() if ret: return ret, frame time.sleep(0.1) return False, None # 断流重连 if not ret: cap.release() time.sleep(5) cap = cv2.VideoCapture(rtsp_url)

4.5 坑五：GPU 显存泄漏，跑 12 小时就 OOM

现象：服务跑半天后显存从 2G 涨到 8G，最后 CUDA out of memory。

原因：PyTorch 的中间变量没释放，或者每帧都创建新的 tensor 没复用。

解决：推理包在with torch.no_grad():里；YOLO 的results用完手动del；每 1000 帧调一次torch.cuda.empty_cache()。更彻底的办法是用 TensorRT 的 execution context 复用，别每次推理都重建。

5. 进阶技巧：用 TensorRT 把单卡路数压榨到极限

5.1 导出 TensorRT 引擎的正确姿势

YOLOv8 导出 TensorRT 有两种方式：Ultralytics 自带的model.export(format='engine')，或者先导 ONNX 再用trtexec手动转。我推荐后者，因为参数可控。

# 第一步：导出 ONNX，固定 batch=1，动态轴只留 batch yolo export model=yolov8n-face.pt format=onnx imgsz=640 opset=12 simplify=True # 第二步：trtexec 转 TensorRT FP16 trtexec --onnx=yolov8n-face.onnx \ --saveEngine=yolov8n-face.engine \ --fp16 \ --workspace=4096 \ --minShapes=images:1x3x640x640 \ --optShapes=images:1x3x640x640 \ --maxShapes=images:1x3x640x640

--workspace=4096给 4G 显存做优化空间，太小会 fallback 到慢速 kernel；--fp16开半精度；shape 固定成 1 是因为安防场景 batch 大了延迟高，不如单帧快跑。

5.2 单卡路数估算与验证方法

T4 上 YOLOv8n-face TensorRT FP16 单帧推理 6ms，加上前后处理 4ms，单路 25 帧需要 250ms 算力，理论 40 路。但实际要留余量：

单路 25 帧需要 350ms，T4 的 1000ms 算力理论上支持 2.8 路？不对，这里算错了——14ms 是单帧耗时，25 帧就是 350ms，但 GPU 是并行的，多路可以 batch 推理。实际部署时把多路帧拼成一个 batch 送 YOLO，batch=8 时单帧均摊到 2ms，40 路才跑得动。

验证方法：用trtexec --loadEngine=model.engine --shapes=images:8x3x640x640测 batch=8 的吞吐，再乘上你的业务帧率需求。

5.3 一个我踩过的坑：别用 Python 多线程跑 TensorRT

TensorRT 的 execution context 不是线程安全的，Python 多线程因为 GIL 看似没事，但一旦用concurrent.futures跑多路，就会随机报错或结果错乱。正确做法是每个 GPU 一个进程，进程内单线程跑推理，多路用队列喂数据。或者用 TensorRT 的execute_async配合 CUDA stream，但那个复杂度高，安防场景用多进程就够了。

我现在的习惯是：部署前先用trtexec把引擎的极限吞吐测出来，再按 70% 负载规划路数，留 30% 给突发。这套系统在园区跑了半年，最大的教训不是模型精度，而是 RTSP 断流和显存泄漏——这两个问题不解决，精度再高也白搭。希望帮到你。

本文还有配套的精品资源，点击获取