深度学习口罩识别系统落地实战：从模型选型到CPU部署全流程

帮客户做门禁系统升级那段时间，我一直被一个问题烦着：园区出入口装了普通网络摄像头，管理员不可能二十四小时盯屏幕，又要求对每一个进出的人做口罩佩戴判断。这种需求听起来不复杂，但真正动手时才发现，做一个能在固定摄像头上稳定跑起来的“基于深度学习的口罩识别系统”，坑点比想象中多得多。

这篇文章我就把整个项目从需求确认、模型选型、数据准备、训练调参到部署实测的完整过程写出来，重点放在那些在不落地时根本不会遇到的问题上。不管你是刚接触计算机视觉的初学者，还是想在公司内部快速搭建一个类似小系统的开发者，这篇内容应该能帮你省掉不少弯路。

1. 项目起因与场景界定：客户要的其实不是识别模型

拿到这个需求的第一步，不是急着找预训练模型，而是先搞清楚现场到底是什么情况。

1.1 需求的真正痛点：不是识别口罩，而是替人盯屏幕

客户的原话是“能不能让摄像头自动识别谁没戴口罩”。但真正去现场看了一圈后我发现，他们的痛点不是“能不能识别”，而是“不想一直盯着监控屏”。这意味着系统必须连续运行、自动报警、还要尽可能少报错。一个只跑通Demo的识别模型根本满足不了要求，因为误报太多会让管理人员彻底失去信任。

所以我做的第一件事，是和需求方把场景限制死：

• 摄像头固定视角，位置在园区出入口，背景相对稳定；
• 人员步行通过，单人通行较多，偶尔会有两三个人并行；
• 推理设备是一台普通工控机，没有独立显卡，CPU必须在可接受时间内完成判断；
• 输出结果要简单直接：正常 / 未佩戴 / 佩戴不规范，三类提示信息推送给人脸识别门禁终端或本地上位机。

1.2 场景边界对方案的影响

固定机位这一点，对后续技术选型影响非常大。和自动驾驶那种随机背景完全不同，固定摄像头意味着背景光照、角度、拍摄距离都有规律，模型要学习的变化范围小得多。

我当时的判断是：这个项目不需要上大模型，也不需要做多目标复杂追踪，真正的工作量集中在三点——人脸检测的稳定性、口罩分类的鲁棒性、报警后处理的防误报机制。

1.3 硬性指标与验收标准

立项时就要把验收指标定清楚，不然做着做着就会陷入无休止的“调精度”循环。我和客户对齐的是这样一组数据：

这个指标定下来，项目边界才算真正清晰。

2. 方案拆解与模型选型：为什么是“检测 + 分类”而不是一个检测器

拿到需求之后，接下来就要想清楚整体架构。第一版我确实试过用目标检测模型直接标口罩框，但很快发现这条路有问题。

2.1 口罩识别本质上是两段任务

目标检测模型擅长的是“找到目标在哪里”，而口罩识别更核心的问题是“人脸这片区域里的口罩状态是什么”。如果把口罩识别当成一个端到端的目标检测任务，需要同时训练“人脸框”和“口罩框”，数据标注成本高，且口罩这种小目标在画面远处很容易漏检。

更合理的拆法是两段式：

1. 先用一个人脸检测器，在整帧画面里找到人脸框；
2. 把人脸区域裁切出来，缩放到固定尺寸，再送进一个口罩分类器。

这种设计的工程好处在于：两个模型可以分别优化。检测器漏检了，我只调检测器；分类器判错了，我只调分类器，不会互相干扰。

2.2 人脸检测模块选型

人脸检测器我用的是轻量级方案，首选OpenCV自带的DNN人脸检测模块。原因很直接：项目运行环境没有GPU，并且客户不希望在电脑上安装一堆重型框架。OpenCV的DNN模块加载模型后可以直接用CPU跑，环境部署最简单。

实测下来，固定机位、人员距离摄像头两米左右的情况下，OpenCV的DNN人脸检测在真实画面里表现稳定，单张图检测耗时在10ms以内。检测框偶尔会有抖动，但配合后续的跟踪和状态机，完全可以接受。

2.3 口罩分类模型：轻量级CNN为主

分类部分我对比过几条路线：VGG16这类大网络、ResNet18、MobileNetV2、EfficientNet-Lite。VGG精度不错但参数太多，CPU推理慢，直接被淘汰。ResNet18精度高但仍有2.8MB左右的参数量，在CPU上跑也能接受。MobileNetV2虽然精度略低，但推理速度最快。

我最终选择的是EfficientNet-B0作为骨干，再通过迁移学习调整分类头。选择理由如下：

• 模型体积小，参数量约5.3M，部署在工控机上毫无压力；
• 在ImageNet上预训练过的特征对口罩边缘、纹理、颜色有不错的泛化能力；
• 计算量适中，单张224x224图像在CPU上推理约15ms。

补充一点：我没有选Vision Transformer这类大规模模型。在样本量只有十来万、设备无GPU的项目里，ViT的优势发挥不出来，反而会带来延迟和部署难题。深度学习项目不是越新越好，而是越合适越好。

3. 数据准备与标注：这个项目最大的工作量不在模型训练

真正开始动手后我才发现，口罩识别项目里最耗时间的不是训练，而是数据。这部分我花了两周，占了整个项目周期的一半。

3.1 数据来源与合规处理

数据主要有两个来源：一是公开的口罩人脸数据集，包含不同肤色、不同口罩类型的人脸；二是现场摄像头录制的日常通行视频，抽帧后作为补充样本。

这里必须提醒一句：人脸数据涉及个人隐私，处理时要非常谨慎。我做的处理是：抽帧图片只保留人脸区域，裁剪后立即删除原图；标注环节不使用真实姓名，只保留图片编号；所有数据仅存于项目本地服务器，不做任何云端上传。公开数据集也要留意使用条款，尽量选明确允许研究用途的。

3.2 标注规范：两类还是三类

最初我按两类做：戴口罩 / 未戴口罩。但客户实际场景里有一种高频情况——口罩拉下来露出鼻子，或者挂在下巴上。这种算“戴了”还是“没戴”？如果归为“戴了”，那监控的意义就打了折；归为“没戴”，又和真没戴的区别不够。

所以我把类别定为三类：

• normal：口罩覆盖口鼻区域，且下沿超过下巴；
• bad：口罩遮挡不够严格，包括露鼻、露口、挂在下巴、只遮住嘴巴；
• no_mask：完全没有戴口罩。

定义清晰后，标注一致性才可能保证。我从项目里抽了几组样例截图和标注员对齐标注标准，最终达到认可的标注一致率。

3.3 数据增强策略与代码实现

口罩识别常见的干扰来自光照变化、口罩颜色、佩戴角度、摄像头噪点。数据增强围绕这四个方向来做。我用PyTorch的torchvision.transforms实现了一套离线增强流水线：

import torchvision.transforms as T train_transforms = T.Compose([ T.Resize((256, 256)), # 先放大再随机裁切，增加平移扰动 T.RandomCrop((224, 224)), # 模拟人脸框定位偏移 T.RandomHorizontalFlip(p=0.5), T.ColorJitter(brightness=0.25, contrast=0.25, saturate=0.2), T.RandomAdjustSharpness(sharpness_factor=0.3, p=0.3), # 模拟镜头锐度变化 T.ToTensor(), T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ])

这里有个容易踩的坑：增强强度不是越大越好。我把亮度扰动调到0.6时，模型在正常亮度现场画面里反而开始频繁把暗光人脸误判为未戴口罩。后来把brightness降回0.25，误判立刻减少。增强的目的是覆盖真实环境变化，而不是把训练集变成“抽象画”。

3.4 数据清洗中发现的有趣偏置

有一次训练出的模型在测试集上准确率很高，但我把Grad-CAM可视化图导出来一看，模型关注的区域根本不是口罩覆盖区域，而是人脸下巴到脖子的一小块背景。进一步分析才发现，训练集中蓝色口罩占比超过七成，模型实际上是靠颜色在做判断。

这算是一个典型的“捷径学习”问题。针对这个问题我做了三件事：

• 在数据集中刻意平衡口罩颜色：蓝、白、黑、粉、花色每类占比控制在15%-25%；
• 增加灰度图样本，让模型脱离颜色信号；
• 对蓝色口罩样本做随机通道扰动，避免模型学到单一颜色特征。

这项工作做完后，模型在真实场景里的泛化能力有了肉眼可见的提升。

4. 训练与调参：从Loss震荡到稳定收敛的完整记录

训练部分反而没有太多惊险，但有几个关键经验值得记录。我的整个实验配置如下：

4.1 迁移学习的具体策略

我没有从头训练模型。ImageNet预训练权重已经能识别通用纹理，我要做的是让骨干网络适配“口罩人脸”这个特定领域。

具体流程是：

1. 冻结EfficientNet的前几层，替换分类头为新的全连接层，先仅训练分类头，大约10轮；
2. 解冻骨干的后半部分，使用更低的学习率微调；
3. 最后再解冻全网络，用SGD收尾几轮。

这样做的意义在于：骨干网络低层提取的是边缘、颜色、纹理等通用特征，不需要大更新；高层特征更贴近具体任务，需要更多适配。直接全部解冻从头训，很容易在十几轮后过拟合到训练集上那些不太重要的纹理细节。

4.2 训练过程中的三个关键信号

第一个信号出现在第8轮附近：训练Loss在下降，但验证集Loss开始小幅回升。这是典型的过拟合前兆。原因应该在于数据增强还不够强，或者模型容量相对样本量偏大。我的做法是把Dropout从0.2提至0.4，同时把RandomHorizontalFlip和ColorJitter的强度各往上调了10%，过拟合信号很快就被压下去了。

第二个信号是混淆矩阵里normal类别被反复误判成bad。我把错误样本导出来看，发现大量样本是口罩上的折痕或压印被模型当成了“露鼻”。这个问题的根源在于bad类的样本量不足。我补充了一批现场采集的“口罩略下滑”样本，并增加口罩褶皱部位的随机遮挡，之后该类准确率提升了约4个百分点。

第三个信号是Label Smoothing的作用。加了0.05的平滑后，验证集准确率并没有立刻提升，但模型的校准度明显变好。最直观的表现是，softmax输出的概率分布不再那么“自信”，部署后置信度阈值调起来更顺手。

4.3 评测体系：别只看Accuracy

分类任务里，Accuracy是一个特别容易骗人的指标。现场场景下“正常佩戴”样本占绝大多数，如果模型把所有人都判成正常，准确率也能有80%以上。为了实现“未佩戴口罩必须揪出来”的目标，我只关心两个指标：no_mask类的召回率，以及bad类的精确率。

我最后用的评测方式有两个：

• 按类别输出Precision、Recall、F1；
• 每周做一次bad case review，把错例按原因归类：光照问题、遮挡问题、角度问题、标注噪声。

这个流程坚持到项目交付后，累计发现了好几类真实场景下的模型盲区，都成了下一轮数据回流的起点。

5. 推理部署：把模型变成一套不折腾人的实时系统

模型训练完成后，最难的部分其实是让它稳定地跑在现场设备上。这一步如果做得不好，前面的工作全部白费。

5.1 从PyTorch到ONNX Runtime

训练用的PyTorch模型不能直接部署到工控机上，至少要转成通用推理格式。我使用的是ONNX格式，推理端用ONNX Runtime加载，CPU环境友好，且省去在部署机安装PyTorch的依赖。

导出过程很简单，但有几个细节必须注意：

import torch import torch.onnx model.eval() dummy_input = torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, "mask_classifier.onnx", opset_version=12, input_names=["input"], output_names=["output"], dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}} )

导出的模型在ONNX Runtime里做精度校验，对比原始PyTorch输出，误差一般在1e-6级别，基本一致。单独分类单帧CPU推理耗时约15ms。

5.2 检测与分类的管线搭建

实际部署的推理流程是：

1. 从摄像头取一帧画面；
2. 用OpenCV DNN人脸检测器检测人脸框；
3. 对检测框做适度外扩，避免口罩边缘被切掉；
4. 将人脸区域resize到224x224，归一化后送入分类器；
5. 分类结果写入状态机，连续多帧保持同一判断才触发报警。

外扩这一步值得单独说一下。口罩识别比普通分类任务更看重人脸下巴以下的区域，如果人脸框太紧，口罩下沿会被截掉，模型很容易把normal误判为bad。我在实际部署里把原检测框向下扩展了15%作为分类输入，采集区域的误判率立刻降了一个档次。

5.3 状态机与防抖：比算法更重要的工程细节

如果每一帧都直接输出报警，画面里有人稍微偏一下头，结果就会在normal和bad之间跳来跳去。现场管理人员对这种“闪报”非常反感。

我的处理方式是加一个简单的状态机：

class MaskStateMachine: def __init__(self, stable_frame_count=3): self.stable_frame_count = stable_frame_count self.history = [] def update(self, current_label, score): self.history.append(current_label) if len(self.history) > self.stable_frame_count: self.history.pop(0) if len(self.history) >= self.stable_frame_count: if len(set(self.history)) == 1: return self.history[-1] # 连续N帧一致才输出 return None # 状态未稳定

连续三帧判断一致才输出结果。同时设定置信度阈值：分类器输出normal的概率低于0.5时，即使标签是normal也不展示，宁可显示“状态待确认”。这个逻辑虽然简单，但把现场主观感觉上的误报率降掉了大概六成。

6. 实测中的翻车记录：逆光、多人、遮挡和那些误报

交付前我把系统挂在现场跑了一周，记录了大量真实数据。这个阶段暴露的问题，比训练阶段所有测试集错误加起来还多，挑几个有代表性的说说。

6.1 逆光场景下人脸检测器罢工

园区出入口下午五点左右太阳光直射镜头，人脸处于逆光状态，画面里人的脸部区域发暗。人脸检测器在这种条件下频繁漏检，导致整个流程被跳过了，前端直接显示“未检测到人员”。

排查下来发现，OpenCV DNN人脸检测器默认置信度阈值是0.5，在逆光暗部人脸样本上经常跌到0.4以下。我没有急着调低全局阈值，而是先做了一组离线样本验证，把测试集里逆光图片单独抽出来，画出置信度分布，确认阈值降到0.35后检测召回率提升明显，且不会导致明显误检，于是决定接受这个阈值。

同时，我在摄像头采集端加了简单的图像增强处理，对检测输入做了轻度伽马校正，让暗部细节更清晰。两项调整叠加后，逆光漏检率从8%降到了1%以内。

6.2 多人并行时ROI裁剪串脸

当两个人并肩通过时，检测器有时候会把人脸框定位偏移，导致分类器输入的是另一个人的下巴或口罩边缘。这类错误非常隐蔽，单看分类结果根本发现不了，只能通过把裁切图保存下来做人工检查才发现。

解决办法是双管齐下：一是对检测结果做非极大值抑制，把重叠度过高的检测框剔除；二是给ROI加宽度边距，减少裁切区域与邻脸重叠的干扰。实测之后，多人场景下的分类准确率恢复了正常水平。

6.3 口罩佩戴不规范类的边界问题

bad类的判断在真实场景里是最困难的。现场有一类情况：口罩戴得很标准，但材质偏硬，边缘翘起，在2D图像上看起来像“露鼻”。几次误报之后，我在bad类训练样本里刻意增加了“硬质口罩边缘翘起”的负样本，同时给bad类引入了更严格的定义：下沿覆盖下巴才算bad，否则很多正常样本都会被拉进bad。

6.4 眼镜、围巾与手部遮挡的干扰

眼镜框在图像上容易和鼻梁上方区域混淆，特别是黑色粗框眼镜，多次被模型当成“口罩露出鼻子”。围巾拉到嘴巴上方与口罩颜色相近，也出现过误判。我后来给训练集增加了大量这类“疑似口罩但实际不是口罩”的负样本，并单独抽出眼镜样本做细颗粒度调整，才逐渐把这一类误报压下来。

这个阶段让我真正意识到：深度学习系统在公开数据集上的指标再漂亮，也不如真实场景里一天跑下来得到的误报清单有价值。所有数据回流到训练集后，系统的鲁棒性稳步提升。

7. 继续演进：从单帧识别到行为判断与数据回流

项目交付后并没有结束。跟踪和复盘整个过程，我发现系统还有几个特别值得扩展的方向。

7.1 连续状态跟踪：把单帧判断变成个体判断

目前系统是逐帧判断“有没有戴口罩”，但现场真正想管的是“某个人有没有一直正确戴口罩”。更好的架构是为每个检测到的人脸分配一个跟踪ID，通过IoU匹配跨帧延续身份，然后对每个ID维护一个状态时间线。只有当某个ID在持续时间内出现“未佩戴”状态，才生成一条报警记录。这比单帧报警更贴近真实管理需求，也大幅减少有人转身导致的临时误报。

7.2 与门禁、考勤系统的联动设计

口罩识别只是前端感知的一部分。如果要联动门禁闸机，系统必须输出结构化事件，而不是简单在本地画个框。我建议把所有识别结果写成本地消息队列的形式，由上位机订阅处理。考虑到现场并发量很小，不需要引入复杂消息中间件，用进程内队列或轻量级文件缓存就足够了，关键是约定好事件格式和字段含义，便于后续扩展测温、考勤等功能。

7.3 数据回流与增量训练的工程习惯

系统上线后，我每周都导出一次现场误报图像，由管理员或标注员快速标记，然后混合新数据做一轮微调。微调时使用更小的学习率，同时把原始训练集按一定比例混入，避免灾难性遗忘。

这里有一个容易踩的坑：直接在新样本上继续训练，模型大概率会丢失对旧样本的正确判断。我通常将新旧数据比控制在2:1或3:1，初始学习率减半，微调5轮左右即停止。这个流程跑下来，系统的现场表现会随着时间推移越变越好。

最后我还想分享一个交付层面的体会：给非技术背景的管理员交付这类系统时，真正能建立信任的不是单片准确率有多高，而是你把错误案例整理成表格，告诉他们“模型在什么条件下会犯错、我们打算怎么改进”。深度学习的价值在于能持续迭代，而迭代的起点就是对错误案例的尊重。数据回流做起来以后，这个系统会越来越像现场的“老员工”，越用越顺手。