简介：本资源是一个面向智能交通与车载AI开发者的疲劳驾驶实时监测系统实现方案，聚焦驾驶员状态识别与分心行为检测两大核心任务，适用于辅助驾驶系统研发、DMS算法验证及计算机视觉课程实践。压缩包共12个文件，含10张模型测试效果示意图（展示Perclos眼闭合分析、哈欠/喝水/抽烟/打电话等YOLOv7检测结果）、1个关键处理脚本Concat.py（用于多源行为特征融合或帧级结果拼接）及1份README.md说明文档，整体体积4.7MB，轻量易部署。已有148人学习下载，适合具备Python与PyTorch基础的中级开发者快速复现完整流程。读者可直接获取基于改进YOLOv7的多行为检测模型推理逻辑、Perclos计算模块集成方式、典型场景下的可视化检测输出样例，以及系统级联设计思路，为后续嵌入式移植或预警策略开发提供可运行基线代码与结构化参考。 做车载视觉这几年，我接到过最多的需求就是“把疲劳驾驶检测落地”。这类DMS（Driver Monitoring System）项目最核心的坑，不在算法本身多高深，而在于怎么把眼睛的疲劳状态判断，和嘴巴、手部的行为识别，在一个不算宽裕的算力上稳住帧率。我这套方案用的是Perclos做疲劳核心指标，用改进版YOLOv7做目标感知层，覆盖哈欠、喝水、抽烟、打电话四个场景，算是目前行业内比较主流、也比较平衡的一套打法。
如果你正准备做DMS相关的课题或产品原型，或者手里已经有一套目标检测代码，但不知道怎么把它组织成完整的疲劳驾驶系统，这篇整理应该能帮你省不少弯路。
1. 项目整体认知与技术选型分析
1.1 疲劳驾驶检测的核心逻辑
疲劳驾驶检测从技术路径上分三类：生理信号类、车辆行为类、视觉行为类。生理信号类（脑电、肌电、心率）准确度高，但需要接触式穿戴设备，前装车型很少直接用；车辆行为类（方向盘转角、车道偏离、跟车时距）间接反映驾驶员状态，但依赖车辆信号和道路条件，且判断滞后；视觉行为类是当前DMS的主流，用一个摄像头对着驾驶员，通过图像判断眼睛闭合、嘴部动作、头部姿态和手部行为，非接触、成本低、可解释性强。
基于视觉的疲劳检测，核心要拆成两层：感知层回答“眼睛在哪、嘴在哪、手在哪、有没有手机、烟、水杯”，决策层回答“眼睛有没有持续闭合、嘴巴是不是在打哈欠、是不是在打电话”。目标检测模型负责前者，Perclos和时序规则负责后者。这里最忌讳的是把两层混在一起，直接拿分类网络做“疲劳/不疲劳”二分类，要么在复杂光线下效果崩塌，要么无法输出中间证据，出了问题连排查都无从下手。
1.2 为什么是Perclos + YOLOv7的组合
Perclos，全称Percent of Eye Closure，指单位时间内眼睛闭合时间所占百分比，是疲劳判别领域公认的指标。它不像很多人想的那样是个AI算法，而是一个带有明确物理含义的统计量。研究普遍采用P80准则：眼皮遮挡瞳孔面积超过80%就算眼睛闭合，当Perclos值超过0.4时判定为疲劳状态。
YOLOv7在这里的角色是给Perclos提供“眼睛状态”的可靠输入。原版YOLOv7在通用检测任务上精度和速度的平衡度很好，结构上有ELAN高效聚合模块、重参数化卷积、辅助训练头、SPPCSPC金字塔池化，理论功底和工程底子都扎实。但原版模型对“眼睛”“烟”“手机”这类小目标、小物体不够敏感，直接部署到Jetson一类边缘设备，实时性也吃紧。所以项目标题里的“改进”是必须的，不是锦上添花。
说得直白一点：Perclos负责“累不累”的判断，YOLOv7负责“看到了什么”，去掉任何一个，这套系统都不成立。只靠传统Perclos框架，没有深度模型，眼睛定位在车辆晃动、光照变化下会崩；只靠通用YOLOv7，不解决小目标和实时性，跑起来又慢又漏检。
1.3 改进版YOLOv7的几个方向
实际落地时，我见过最多、也最稳妥的改进组合是三条：轻量化主干、注意力模块、小目标检测层。
轻量化主干解决速度问题。原始Backbone的ELAN模块在GPU上效率不错，但在Jetson Nano、RK3588这类嵌入式芯片上还有压缩空间，常用做法是引入MobileNetV3、GhostNet，或者把普通卷积替换成GhostConv、DSConv，在可控精度损失下换回20%到40%的帧率提升。
注意力模块解决精度问题。DMS场景的背景是车内环境，相对单一，但驾驶员可能戴墨镜、帽子、口罩，逆光和隧道光变化剧烈。在主干最后几层或Neck部分插入CA（Coordinate Attention）、CBAM这类轻量注意力，对眼睛和手部小目标的特征提取更聚焦。
小目标检测层解决漏检问题。原始模型在P3、P4、P5三个尺度输出，最小检测层的步长为8，对于一张640x640的图，眼睛区域可能只有十几个像素。常见做法是增加P2层，融合更高分辨率的特征图，或者在成本允许时把输入分辨率提到960。P2层带来的显存和计算开销不小，需要按设备算力取舍。
这三个方向的具体做法，我后面逐个展开。
2. 数据准备与标注规范
2.1 数据采集方案
数据质量决定模型上限。采集时我会刻意覆盖几个维度：不同人种、性别、年龄段、是否戴眼镜、墨镜、帽子、口罩；不同光线条件，包含白天强光、逆光、夜晚红外补光、隧道内连续变化光；不同姿态，包含正常驾驶、转头看后视镜、低头看手机、仰头喝水、打哈欠、抽烟手势等。
摄像头机位建议放在方向盘转向柱上方或仪表盘中央偏上，略微俯拍，角度大概10到20度，能够同时看到完整脸部、双手和部分饮料杯。分辨率不需要特别高，1280x720即可，采样帧率在25到30帧每秒。同一个人连续录制的视频不能直接全进训练集，需要做抽帧去冗余，否则模型会对特定角度和光照过拟合。
2.2 标注类别与工具
类别设计会直接影响决策层逻辑。我习惯把目标拆细一点：
- eye_open：睁眼
- eye_closed：闭眼
- mouth_open：张嘴（用于哈欠判断）
- mouth_closed：闭嘴
- face：人脸框（辅助区域约束）
- phone：手机
- cigarette：香烟
- drink：水杯/饮料瓶
细拆的好处是Perclos能直接读取eye_open和eye_closed两类目标的置信度与坐标，不用再单独做分类。如果标注时只笼统地标“喝水”“抽烟”整体行为框，后面做规则判断时反而拿不到“水杯位置”和“嘴部位置”的关系，可扩展性很差。
标注工具用LabelImg最省事，多人协作建议用CVAT或X-AnyLabeling，支持视频标注和自动追踪，能省不少重复劳动。眼睛这类小目标标注要格外小心，框一定要紧贴目标，宁可略小不要留白，因为框太大或背景占比高，正样本的特征会被干扰，训练后框的回归精度也会变差。
2.3 数据增强与样本均衡
车内场景的负样本远多于正样本，驾驶员大部分时间是正常驾驶，哈欠、喝水、抽烟都是小概率事件。如果不做人工干预，模型会严重偏向“不张嘴、没有手机”这类背景类，测试时误检低但召回也低，实车场景漏报会非常严重。
我的做法是：对哈欠、抽烟、喝水样本做5到10倍过采样，同时配合Mosaic、MixUp、随机HSV扰动、运动模糊、随机遮挡等在线增强。Mosaic能把四张图拼在一起训练，变相增大batch size，还能让模型在小目标上看到更多上下文。
特别提醒：抽烟和喝水这类动作往往幅度大但持续时间短，标注时最好把“拿起”“放下”的中间过程也标进去，让模型见到更完整的动作序列，决策层做时序判断时才有连续输入。增强后的数据集中，每类目标建议不少于3000个实例，数量太少的话，训练出来的置信度会很不稳定。
3. 改进YOLOv7网络结构解析
3.1 YOLOv7网络结构图全拆解：ELAN、SPPCSPC与检测头
先回顾原版YOLOv7结构，后面说改进才有参照。输入图像经过Stem卷积进入Backbone，Backbone的核心是ELAN模块，全称Efficient Layer Aggregation Network。它通过长跨度特征聚合，把不同层输出按通道拼接，让信息流动更充分，同时控制梯度消失。下采样用MPConv模块，在步长为2的卷积旁路并联一个MaxPool分支，再把结果拼接。
Backbone末端接SPPCSPC空间金字塔池化，用不同池化核尺寸捕捉多尺度特征。Neck部分使用PANet结构，自顶向下和自底向上各融合一轮，把高层语义信息和低层空间信息交替结合。头部是三个尺度的Detect检测头，分别负责小、中、大目标，配合训练时的辅助头和推理时的重参数化卷积，原版性能确实能打。
但注意，原版在COCO这类通用数据上表现好，直接搬到DMS场景有明显短板：小目标弱、模型偏重。整个结构里最值得改的，是Backbone的卷积深度、主干选择，以及检测头的尺度范围。
3.2 改进方案一：轻量化Backbone替换
我在类似项目里常用一个平衡方案：不整个换成MobileNet，而是只把Backbone尾部几层做轻量化替换。全换MobileNet的好处是FPS高，但精度损失太大，眼睛的小目标信息容易在高层特征图中丢失；只替换尾部，前面保留ELAN的高效聚合能力，速度和精度的平衡更好。
具体做法可以参考：基层保留原ELAN模块，到P4、P5层时，把标准3x3卷积替换为GhostConv，用一次普通卷积生成内在特征，再用线性变换生成冗余特征，把计算量压下来。同时激活函数统一换成SiLU，和原结构保持一致。这样改完，同等输入分辨率下模型GFLOPs大约能降15%到25%，帧率明显提升，mAP只下降1到2个百分点，可接受。
3.3 改进方案二：CA注意力机制插入位置
注意力模块插入位置很关键。我试过在Backbone每一层后都插CA，效果提升不明显，训练还变慢；也试过只在Neck末层插，改善有限。最后效果比较稳的落点是两处：一处是Backbone输出到SPPCSPC之前，另一处是PANet上采样融合之后。
CA坐标注意力比SE通道注意力更适合这个场景，因为SE只建模通道关系，CA还能把空间位置信息编码进来。眼睛、手机、香烟在画面里的位置相对固定，CA学习到的位置先验能显著减少误检。比如把方向盘按键误检成手机、把车内装饰纹理误检成香烟这类问题，加入CA后有效改善。
3.4 改进方案三：小目标检测层
眼神状态判断依赖眼睛小目标，这是整个系统精度最敏感的地方。原版输入640x640时，最小特征图是80x80，眼睛框往往只有十几像素，在深层特征图里已经很难区分。
改进方案是增加一个160x160的P2检测头，利用特征金字塔把浅层高分辨率特征送进检测。代价是后处理耗时增加、显存上涨，所以我只在推理端按需开启P2分支，训练时仍用完整多尺度，让网络学到更丰富的细节。如果设备实在吃紧，还有个折中方案：把输入从640x640提到960x960，只保留P3及以上检测头，检测效果接近P2层，速度相对好一些。
4. 模型训练与调参经验
4.1 训练环境与依赖
代码以官方yolov7仓库为基础。环境一般是Python 3.8以上，PyTorch 1.10到1.13之间，CUDA 11.x。核心依赖如下：
pip install torch==1.13.1 torchvision==0.14.1 opencv-python numpy matplotlib pyyaml tqdm显卡建议显存至少8G。我常用RTX 3070或3080训练，batch size在16左右；云端A10或A100训练体验更好，但混合精度在小目标上要注意保留关键层的FP32梯度，避免loss震荡。
训练前把数据集组织成标准结构：images/train、images/val、labels/train、labels/val，标签用YOLO格式，每行“class cx cy w h”，坐标归一化到0到1。类别文件data.yaml里写清楚names列表顺序，必须与标注时的class id一致，这一步错了后面全白搭。
4.2 超参数与训练策略
输入分辨率设640x640，训练轮数我一般跑200轮，但真正有效的判定是看val mAP曲线的收敛平台，不一定非要跑满。优化器用SGD加momentum 0.937，初始学习率0.01，warmup在3轮内完成，后面用余弦退火慢慢降到0.0001。权重衰减设0.0005，这是官方默认，也比较稳。
遇到小数据集时，冻结Backbone前几层，只训练Neck和Head，可以显著防止过拟合。我的习惯是前30轮冻结，等loss降下来再解冻全部参数。混合精度要谨慎：DMS场景里小目标的梯度幅度小，FP16容易丢失信息，建议用torch.cuda.amp时关闭对检测头前两层的半精度，或者直接用FP32训练加FP16推理，稳定性更好。
4.3 评估指标与验收标准
不能只看mAP，要看具体类别。小目标的mAP@.5:.95往往比mAP@.5低10个百分点以上，这是正常的。对于这个系统，我重点关注：eye_closed类别的AP、phone、cigarette、drink的误检次数，以及整链路端到端帧率。
| 指标 | 验收参考值 | 说明 |
|---|---|---|
| 眼睛闭合AP@0.5 | ≥90% | 疲劳判断的关键输入 |
| 哈欠动作召回率 | ≥85% | 覆盖张嘴到闭合完整过程 |
| 分心行为误报率 | ≤1次/小时 | 按实拍整车场景统计 |
| 端到端帧率 | ≥15FPS | Jetson Orin Nano级别 |
这个表里的数值不是拍脑袋，是综合多个DMS公开数据集和自采数据交叉验证后得到的基准区间，你可以按自己的场景调整。
5. Perclos疲劳判定与多行为决策逻辑
5.1 Perclos计算与阈值设定
YOLOv7输出眼睛框后，Perclos按如下公式计算：
Perclos = 闭眼帧数 / 统计窗口总帧数
判定单帧“闭眼”用P80准则：眼皮遮挡瞳孔面积超过80%视为闭眼。工程上可以简化处理，用眼睛框的宽高比或EAR（Eye Aspect Ratio）替代瞳孔遮挡面积。但纯EAR对头部姿态比较敏感，驾驶员低头时比例剧变，误判严重。我实际的方案是：眼睛框宽高比与目标置信度结合，如果eye_open置信度低于阈值且eye_closed置信度高于阈值，判为闭眼。
统计窗口用60秒滑动窗口，每0.5秒计算一次，当窗口内Perclos值超过0.4时触发疲劳告警。这个数值来自经典文献，0.4到0.5之间是疲劳警戒区间。不同光照条件下需要微调，夜间红外人眼特征明显，闭眼判断更准，阈值可以适当收紧。
5.2 哈欠、喝水、抽烟、打电话的时序判断逻辑
目标检测只能给出“这一刻画面里有什么”，无法表达“正在做什么”这个连续动作，所以决策层必须带时序。我采用的规则如下。
哈欠：mouth_open持续超过1.5秒，且张嘴幅度大，触发哈欠计数；配合头部上扬动作可降低误报。哈欠在60秒内超过3次，判定疲劳概率增加。
喝水：检测到drink目标，且drink框与面部区域有接触或接近，持续2秒以上才算喝水动作。如果只检测到水杯放在杯架上，不能算喝水，这一点很关键，否则误报会非常多。
抽烟：检测到cigarette目标，且cigarette框与嘴部区域有重叠或距离很近，持续若干帧，判断为吸烟动作。点烟、夹烟都不算，避免过于敏感。
打电话：检测到phone目标，且phone框与耳朵区域距离小于一定阈值；同时结合面部角度，如果手机出现在方向盘附近而人没靠近，不算打电话。
这套规则的缺点是边界参数多，调起来繁琐。优点是可解释、可调、不依赖额外训练成本。如果你希望更智能，可以在规则之上加一个轻量GRU或LSTM，把检测结果序列映射到行为类别，但参数可解释性会下降。
5.3 综合疲劳评分与多级报警
单一Perclos不好覆盖所有疲劳形态。有人开车时眼皮一直微眯但闭眼比例不高；有人频繁哈欠但眼睛状态尚可。所以我把指标做加权：
综合疲劳分 = 0.4 * Perclos归一化值 + 0.3 * 哈欠频率归一化值 + 0.3 * 分心行为频次归一化值
分心行为包括喝水、抽烟、打电话，单位时间内各计一次。总分超过阈值后，按等级触发提醒：一级用语音提示“请勿疲劳驾驶”，二级增加声光报警和座椅震动信号，三级通过网络上报给车队管理平台并抓拍现场照片。这个三级设计不是技术难点，但很影响项目验收，客户往往最看重报警链路的完整性和可回溯性。
6. 部署与工程化实践
6.1 推理优化与边缘设备部署
训练用的模型不能直接部署到嵌入式设备，一般要过一遍TensorRT。FP16精度下，模型推理速度通常能提升1.5到2.5倍；INT8量化提升更多，但小目标精度下降明显，眼睛检测尤其容易崩，所以我不建议对眼睛检测头做量化，可以保留FP16，只对Backbone做INT8或混合量化。
我在Jetson Orin Nano上部署时，端到端帧率能做到25到30FPS，前提是输入分辨率控制在640、开启TensorRT的DLA加速、把NMS的后处理移到GPU上。RK3588的NPU对YOLOv7支持也不错，但要注意算子的兼容性，某些自定义模块如重参数化卷积，在NPU上要预先折叠成普通卷积，否则跑不起来。这一步经常是项目进度的最大坑，建议先用SDK自带的demo验证算子支持，再动模型。
6.2 摄像头选型与光照鲁棒性
夜间是DMS的主战场，普通RGB摄像头在夜晚基本不可用。要选带红外补光的近红外摄像头，常见波长850nm或940nm。850nm效果更好但会有轻微可见红爆，940nm完全不可见但传感器灵敏度略低。安装在驾驶位时，我推荐850nm窄带滤光片方案。
摄像头安装高度最好与驾驶员眼睛平齐或略高，俯仰角微俯5到15度，避免仰拍导致眼眶阴影过重。镜头视野要覆盖驾驶员面部区域和部分方向盘区域，同时尽量别拍到中控屏，否则屏幕亮度会干扰红外成像。安装固定也非常重要，车辆震动导致画面抖动的话，后续所有识别都会变得不稳定。
6.3 系统架构与线程模型
实时检测系统不能写成一个main里循环跑完的demo。我建议分成采集线程、检测推理线程、逻辑决策线程、报警通信线程。采集线程通过V4L2或RTSP收帧，带时间戳压入队列；推理线程单帧或小批量处理，输出目标数组；逻辑线程跑Perclos和规则，时间窗口独立；报警线程负责播报语音、写入数据库或上报平台。
用时间戳对齐而不是帧数对齐，因为预处理、推理、后处理的耗时会漂移，如果按帧排序，逻辑层的“1秒前”和实际时间就对不上了。日志也要记录检测框原始输出和决策结果，方便事后回放分析误报，这一点在调车阶段能救命。
7. 常见问题与排查技巧实录
7.1 眼睛小目标漏检严重怎么办
先别急着改网络，先看标注和预处理。眼睛框是不是标得过大、背景占比高？有没有做类别均衡？这两点没问题，再看训练配置。如果还是漏检，依次尝试：提高输入分辨率到960、增加P2检测头、把Mosaic增强的随机缩放范围改小、在数据集中增加眼睛特写裁剪样本。不要一上来就换Backbone，那是最后手段。
7.2 训练时Loss出现NaN
原因通常是学习率太大，或标签异常、框尺寸超出图像边界。优先做数据校验，统计所有标签的cx、cy是否在0到1范围内、w和h是否为正。然后确认warmup没有失效。最后检查混合精度，如果用了AMP，试试FP32训练，验证是不是小目标梯度回传时溢出。
7.3 实车测试误报高
误报来源一般是两类：一类是检测层把方向盘按键、方向盘织物纹理误检成手机、香烟；另一类是决策层把放杯子的动作误判为喝水。前者在数据集里补充大量无目标负样本和方向盘特写，加CA注意力；后者靠逻辑层加“接触面积、持续时间”双重条件，明显缓解。还有一个容易被忽略的点：车辆颠簸造成的画面抖动会让小目标在帧间忽隐忽现，需要在逻辑层加去抖计数器，同一行为连续出现3帧以上才算。
7.4 帧率不达标
优先看推理耗时分布。如果主要耗时在后处理和NMS，考虑降分辨率、减少检测类别数量、用更早的置信度阈值在NMS之前过滤大量低分框。如果主要耗时在Backbone，再考虑框架优化和量化。切忌盲目换轻量网络。我多次看到有人一上来就把YOLOv7换成更小的网络，速度是够了，精度崩了，回头又花大量时间调数据集，得不偿失。
7.5 戴墨镜和口罩场景怎么处理
戴普通墨镜时，红外摄像头透不过镜片，Perclos直接失效。我的处理是增加一个“墨镜遮挡”分类状态，如果检测到墨镜且长时间无法获取眼部特征，按“疑似疲劳”降额判定，并提示驾驶员摘下墨镜。更高级的做法是改用透红外镜片，但成本高，一般只在高端前装项目里用。
戴口罩时嘴部被遮挡，哈欠检测失效，可以改成用眼部闭合和额头皱纹配合判定。额头皱纹检测需要更高清的ROI区域，实际部署中效果有限。比较务实的方案是把“持续性眼睛闭合”作为戴口罩情况下的主要疲劳指标，哈欠检测暂时降级。
8. 写在最后的一点体会
做DMS系统，算法只是其中一半，另一半是数据采集和逻辑层的边界打磨。Perclos加YOLOv7这套组合，胜在成熟、可控、好解释。真正上线前，一定要花大量时间在实车场景里录制数据、跑干扰测试，把误报率压到能接受的范围，否则再高的mAP在车主面前都会被一句“怎么又瞎报警”打回原形。
如果后续想继续扩展，可以在现有基础上加方向盘握持检测、驾驶员身份识别，以及基于毫米波雷达的呼吸和心率检测，做成多模态融合方案。这个方向这几年行业关注度很高，技术路径也基本跑通了，值得持续投入。
本文还有配套的精品资源，点击获取
