红外光人脸表情识别实战：VOC+YOLO双格式数据集与少样本训练策略

最近在做夜间环境下的表情识别，第一个卡住我的不是模型，而是数据。日常用惯的表情数据集基本都来自可见光RGB摄像头，一到暗光环境，脸都看不清，更别说识别“是不是在笑”。后来换到一份红外光面部表情人脸表情检测数据集VOC+YOLO格式338张7类别，才算把“红外 + 表情检测”这个组合真正跑通。这个数据集不大，338张图，7类表情，但价值在于格式完整：VOC和YOLO两种标注都给你准备好了，图像又是红外场景下采集的，直接能用来验证夜间安防、智能座舱、疲劳监测这类低照度应用。

本文不打算只夸这个数据集，我尽量把它的目录结构、标注格式、转换规则、少样本训练策略、踩过的坑都掰开讲一遍。适合谁看？准备做红外人脸相关项目、需要自定义表情检测数据集、或者拿到VOC/YOLO双格式数据但不知道怎么下手的开发者。哪怕你手头不是这份数据，只要照着我这套流程走，基本能避免一半标注和训练上的低级问题。

1. 项目整体设计与思路拆解

1.1 红外光表情识别到底解决什么问题

很多人对表情识别还停留在手机相册那种应用上，光线充足、脸正、手机自动帮你分类。但真实项目里，尤其是夜间车载、门禁、监控场景，RGB摄像头的能力非常有限。路灯下人脸半明半暗，车内的红外摄像头才是常态配置。红外光在这个场景下有两个天然优势：一是不依赖环境可见光，主动红外补光后能稳定成像；二是红外反射和人脸温度分布相关，对肤色、环境色干扰不敏感，比RGB图更“干净”。

但红外图片有个问题，它通常是灰度图，没有颜色信息。等你想用现有的预训练模型去做表情分类时，模型在ImageNet上学到的很多颜色特征完全用不上，RGB图上很明显的嘴唇红、脸颊红在红外图里全不存在。这就是为什么需要专门的红外表情数据集来微调，不能指望直接拿RGB预训练模型一测就万事大吉。

1.2 为什么做“检测”而不是单纯的“分类”

这个数据集标注的是人脸框加表情类别，本质是一个目标检测任务，而不是传统的人脸表情分类任务。很多人会混为一谈。分类任务输入是已经裁剪好的人脸图，模型只需要输出“happy”、“sad”之类的标签；而检测任务需要在画面中找到每张人脸，同时输出其表情类别。你说“分类就够用了”的情况也有，但通常在单目标、人脸已经居中的场景才成立。

换成多人和任意姿态场景，比如车内前排坐两个人、后排可能还有乘客，或者监控画面里同时出现几张脸，分类模型就束手无策了。检测模型则可以直接输出每个人脸的位置和对应表情，后续接报警、接统计都方便。这个数据集走的就是“人脸框 + 表情类别”的路线，相比纯分类，信息量和可落地性都更强。

1.3 数据集规格总览

先看一下整体数据规模，下面是我核对时整理出的基本参数：

7个类别，参考的是表情识别领域常见的7类划分：生气、厌恶、恐惧、开心、中性、悲伤、惊讶。部分项目可能把“轻蔑”或“困惑”也算进来，但7类属于主流设定，跟很多经典表情数据集保持了一致。这说明用它做迁移学习、做对比实验都很方便。

338张看起来少，但不算致命。要注意这是“检测”数据集，一张图里可能有多个人脸，所以“338张图”不等于“338个标注实例”，实际框数通常会大于图数。少样本情况下，怎么把每一张图用到极致，反而是核心看点，后面我会专门讲。

2. 核心细节解析：VOC与YOLO两种标注格式

2.1 拿到手先看目录结构

这份数据集在组织方式上很规矩，基本是标准目标检测数据集的布局。常见结构是这样：

infrared_face/ ├── images/ │ ├── train/ │ │ ├── 0001.jpg │ │ └── ... │ └── val/ │ ├── 0120.jpg │ └── ... ├── annotations/ │ ├── 0001.xml │ └── ... ├── labels/ │ ├── 0001.txt │ └── ... └── classes.txt

有的版本可能把xml和txt直接放在图片同目录下，也不奇怪。重要的是你拿到数据后，第一件事是把train/val划分搞清楚，然后确认每个xml和txt是否存在对应关系。我收到的这份数据，图片和标注文件是成对出现的，没有发现缺xml或多txt的情况，质量上还过得去。

2.2 VOC格式逐字段解读

VOC格式用XML文件描述标注信息，这是目标检测领域最经典的标注形态之一。打开一个xml文件，核心内容大概是：

<annotation> <folder>images/train</folder> <filename>0001.jpg</filename> <size> <width>640</width> <height>480</height> <depth>3</depth> </size> <object> <name>happy</name> <bndbox> <xmin>96</xmin> <ymin>110</ymin> <xmax>208</xmax> <ymax>228</ymax> </bndbox> </object> </annotation>

这里最有用的信息是size和bndbox。size里的宽高必须和实际图片尺寸一致，如果原始图片被resize过但没有同步修改xml，会出现框偏移。bndbox是绝对像素坐标，xmin、ymin、xmax、ymax分别代表人脸框的左、上、右、下边界。判断一个人脸框是否合理，重点看框是否贴合面部边缘，尤其是下巴和额头的位置。

需要注意，xml中可能有多组object，代表一张图中的多个人脸。转换到YOLO格式时，每个object都会对应txt里的一行，类别名与坐标都必须一一保留。

2.3 YOLO格式与转换公式

YOLO格式是目标检测训练时更常用的输入格式，它用txt文本存储标注，每行代表一个目标：

3 0.2375 0.3521 0.1750 0.2458

这行5个数从左到右分别是：类别id、归一化后的中心点x、中心点y、归一化后的框宽、框高。这里最关键的数学关系是：

x_center = (xmin + xmax) / 2 / width

y_center = (ymin + ymax) / 2 / height

bbox_width = (xmax - xmin) / width

bbox_height = (ymax - ymin) / height

归一化是所有YOLO格式必须遵守的规则，坐标范围必须落在0到1之间。不但要小于1，还要大于0，任何越界都说明标注有问题。

我写了一个VOC转YOLO的脚本片段，你可以直接参考：

import xml.etree.ElementTree as ET import os class_names = ['angry', 'disgust', 'fear', 'happy', 'neutral', 'sad', 'surprise'] def xml_to_yolo(xml_path, txt_out_path): tree = ET.parse(xml_path) root = tree.getroot() img_w = int(root.find('size/width').text) img_h = int(root.find('size/height').text) lines = [] for obj in root.iter('object'): name = obj.find('name').text if name not in class_names: continue cls_id = class_names.index(name) box = obj.find('bndbox') xmin = float(box.find('xmin').text) ymin = float(box.find('ymin').text) xmax = float(box.find('xmax').text) ymax = float(box.find('ymax').text) x_center = (xmin + xmax) / 2.0 / img_w y_center = (ymin + ymax) / 2.0 / img_h box_w = (xmax - xmin) / img_w box_h = (ymax - ymin) / img_h lines.append(f"{cls_id} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f}") with open(txt_out_path, 'w') as f: f.write('\n'.join(lines))

这个脚本虽然短，但涵盖了两个最容易出错的地方：类别名到id的映射顺序，以及坐标归一化。class_names这个列表的顺序必须跟后续训练配置里的names完全一致，一旦错位，训练的模型会把“开心”学成“生气”。

2.4 表情类别的标注边界心得

这是我最想强调的部分。很多人第一次标注表情数据，容易把框画得很随意，其实表情检测的框范围对模型影响极大。我的经验是：表情检测的框是一个“人脸框”，不是“表情部位框”。你框的必须是完整面部区域，包括额头、眉毛、眼睛、鼻子、嘴巴，同时尽量贴脸，不要包含太多背景。

为什么这么讲究？因为模型判断一种表情，靠的是多个面部特征的综合信号。比如“惊讶”往往靠瞪大的眼睛和张开的嘴；“开心”可能同时看嘴巴弧度和眼轮匝肌区域。如果你只框嘴巴，模型永远学不到眼睛的信息；如果你框的框太大，把头发、背景都包进来，模型又会被无关纹理干扰。

红外图像下表情特征还有一个特殊现象：由于图像是灰度且对比度偏低，眉毛、眼角、嘴角这些部位的边缘纹理比RGB图弱不少。这意味着模型需要在灰度梯度上找到足够强的模式，更需要标准化的框来减少额外干扰。

3. 实操过程与核心环节实现

3.1 数据集的训练/验证集划分

338张图不可能全部扔进去训练，必须留出一部分做验证。常规做法是按8:2划分，也就是约270张训练、68张验证。但目标检测数据集划分有一个隐藏问题：如果同一人的多张人脸照片同时出现在训练集和验证集里，模型在验证集上的表现会被“虚高”，因为模型已经记住了这个人的人脸特征。

合理做法是按身份去重后再划分，或者至少保证验证集里不出现和训练集完全相同的人脸图。如果数据源没有提供身份信息，就要靠图片编号的时间顺序或者场景信息来人为错开。小数据集下这个细节最容易被忽略，但影响又是最大的，验证集一旦泄漏，你的mAP再高也没有说服力。

划分完之后，建议用下面这种目录结构组织数据，YOLO训练时能直接读取：

datasets/infrared_face/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml

注意YOLO的标签txt文件名必须和图片名完全一致，只是后缀从.jpg变为.txt。比如0001.jpg对应0001.txt。

3.2 训练前的数据校验

很多小数据集看起来正常，实际问题一大堆。我习惯在训练前写一段校验脚本，检查tag标注是否存在坐标越界、分类id是否溢出、图片和标签是否一一对应：

import os from PIL import Image IMG_DIR = 'datasets/infrared_face/images/train' LAB_DIR = 'datasets/infrared_face/labels/train' for img_name in os.listdir(IMG_DIR): base, _ = os.path.splitext(img_name) img_path = os.path.join(IMG_DIR, img_name) txt_path = os.path.join(LAB_DIR, base + '.txt') if not os.path.exists(txt_path): print(f"missing label: {txt_path}") continue img = Image.open(img_path) w, h = img.size with open(txt_path) as f: for line in f: parts = line.strip().split() if len(parts) != 5: print(f"bad line: {txt_path}, {line.strip()}") continue cls_id = int(parts[0]) x_c, y_c, bw, bh = map(float, parts[1:]) if cls_id < 0 or cls_id >= 7: print(f"bad cls: {txt_path}, cls={cls_id}") if not (0 < x_c < 1 and 0 < y_c < 1 and 0 < bw < 1 and 0 < bh < 1): print(f"out of range: {txt_path}, {line.strip()}")

这种脚本十分钟能写完，但它能挡下80%的数据大坑。我发现很多训练到一半loss异常飙升的问题，最后都追溯到txt里某一行坐标越界，或者某张图片被误存成了三通道而标签却是按灰度图坐标写的一堆问题。

3.3 YOLO训练配置与命令

接下来是训练。用YOLOv8举例，先把数据集的YAML配置写好：

path: D:/datasets/infrared_face train: images/train val: images/val names: 0: angry 1: disgust 2: fear 3: happy 4: neutral 5: sad 6: surprise

这里必须再次强调：names的顺序要和txt标注里的类别id一致。如果你之前转换脚本里的class_names是上面这个顺序，那这里就保持一致，任何一处修改都要同步。

训练命令很简单：

yolo detect train data=infrared_face.yaml model=yolov8n.pt epochs=200 imgsz=640 batch=16 patience=50

我刻意选了yolov8n.pt这个最小的预训练模型。为什么不用更大的s或m？因为数据集只有338张，模型越大越容易过拟合。Nano模型参数量少、正则化能力强，在小数据集上往往比大模型更稳。你只需要保证它学到的是红外特征和表情模式的组合，而不是去死记硬背有限的训练样本。

如果你用的是YOLOv5，命令也类似：

python train.py --data infrared_face.yaml --weights yolov5s.pt --img 640 --batch 16 --epochs 200 --patience 50

3.4 少样本红外数据训练的核心策略

338张对深度学习来说确实少，但少样本有小样本的打法，我总结成四条核心策略。

第一，必须用预训练权重。不要从零训练，从零训练几百张图根本不够。IR图像即使是灰度，backbone学到的边缘、轮廓、形状先验还是能迁移过来的。用ImageNet或COCO预训练权重作为起点，相当于给了模型一个“会看图的脑子”，它只需要再学“红外风格”和“表情特征”。

第二，冻结backbone的前期层。如果数据量很小，建议在训练前期冻结骨干网络的前10层，只训练检测头和骨干网络的高层。等到loss下降变缓后再解冻全部层，用小学习率微调。YOLOv8里可以直接用freeze参数控制：

yolo detect train data=infrared_face.yaml model=yolov8n.pt epochs=100 freeze=10

第三，开足数据增强。YOLO自带mosaic、旋转、平移、缩放、翻转等增强方式。红外灰度图有个特殊点：色调、饱和度扰动意义不大，因为本来就是灰度。所以我会把hsv_h和hsv_s调低甚至设为0，保留hsv_v的亮度扰动，模拟红外设备在不同距离和补光强度下的亮度差异。另外，随机翻转对表情识别基本没影响，可以放心开。

第四，用类别权重或过采样缓解类别不平衡。表情数据里“中性”和“开心”通常数量多，“厌恶”和“恐惧”往往很少，表现在mAP上就是少数类的AP很低。最简单有效的办法是对少数类样本做重复采样，或者在loss中提高少数类的惩罚权重。很多框架里cls这个loss系数可以调大，但更直观的做法是先把少数类样本在训练集里复制若干次，配合增强生成不同的变体。

3.5 模型评估与结果判读

训练完成后别只看一个mAP指标。小数据集上，mAP0.5和mAP0.5:0.95可能差异很大，我更关心每个类别的单类AP和混淆矩阵。

一个很典型的坑：模型可能“整体不错”，但单看少数类，比如“恐惧”，AP几乎是0。这说明模型把大部分“恐惧”预测成了“惊讶”或者“中性”。原因往往是这两类表情的面部肌肉动作相近，红外下特征区分度更弱。这时候要考虑合并相似类别，或者给少数类补充更多样本来增强决策边界。

另外一个评估技巧是小数据集强烈建议用K-Fold交叉验证。把338张图分成5折，轮流用4折训练、1折验证，最后取平均结果。这样可以减少一次随机划分带来的评估偏差。代码可以用现成的sklearn：

from sklearn.model_selection import KFold import os img_names = os.listdir('datasets/infrared_face/images') kf = KFold(n_splits=5, shuffle=True, random_state=42) for fold, (train_idx, val_idx) in enumerate(kf.split(img_names)): # 根据索引生成对应的train.txt/val.txt pass

虽然5折训练时间翻了5倍，但用nano模型，338张图每折训练时间也就几分钟到十几分钟，完全值得。

4. 常见问题与排查技巧实录

4.1 标签错位与坐标越界

标签错位是一个很隐蔽的问题。VOC转YOLO的过程中，如果两个脚本用了不同的类别顺序，txt里的类别id就全乱了。排查方法是可视化检查：把标注框直接画在图片上，看显示出来的标签字符串对不对。不要用眼睛只扫数字，直接把class_names名字画上去，一眼就能看出错位。

坐标越界也很常见，尤其是人脸框靠近图像边缘时，xmax可能超过图片宽度。越界坐标在训练时会引发NaN loss或者边界回归不稳定。处理方式是先clip再归一化，把超出边界的坐标拉回图像范围内。要注意的是，如果整个框大部分在图像外，这种样本建议直接丢弃，硬保留反而干扰训练。

4.2 灰度图像的通道处理

红外图通常是单通道灰度图，而YOLO等目标检测框架习惯读三通道图。如果你直接把单通道图喂进去，要么报维度错误，要么预处理时被强行resize导致通道错乱。我的做法是统一把灰度图转成三通道的“伪RGB”图，也就是把灰度值复制到R、G、B三个通道。用OpenCV做很方便：

import cv2 img = cv2.imread('0001.jpg', cv2.IMREAD_GRAYSCALE) img_rgb = cv2.cvtColor(img, cv2.COLOR_GRAY2RGB) cv2.imwrite('0001_rgb.png', img_rgb)

这么做不改变图像信息，只是骗过网络输入的通道约定。模型依然能从三通道里学到完全相同的灰度纹理特征，但训练流程不会报错。如果你有大量图片，也可以在dataset的__getitem__里动态转换，省一层重复读写。

还有一点，红外图片有时是16位深度，很多框架用8位去读会得到一片黑。遇到这种情况，先看图像像素最大值，如果远大于255，就需要做归一化或截断到8位。我遇到过一批热成像原图，直接opencv读出来像是全黑的，其实是位深不匹配。

4.3 过拟合与类别不平衡

338张数据训练150轮以上，过拟合几乎是必然趋势。表现是训练loss持续下降、验证mAP先升后降。解决手段有几板斧：更激进的增强、更强的dropout/正则、更早的早停、或者换更小的模型。我在多个红外表情任务里反复试过，YOLOv8n + 强增强的组合是当前最稳的选择。

类别不平衡我前面提过，这里补充一个更明确的诊断方法：看每个类的PR曲线。YOLO训练结束后，在validation目录下会生成PR_curve.png和confusion_matrix.png。这两个图比单一mAP有用很多。如果“恐惧”重新召回率低，而“惊讶”的精确率也不高，就说明两个类在特征空间上重叠严重，单靠调参很难解决，只能从数据层面想办法。

4.4 红外数据特有伪影与标注一致性

红外图不像RGB图那样有丰富的颜色和纹理，但会产生一些特有伪影。比如镜片在红外下经常出现反光或黑斑，遮挡眼部特征；面部出汗或温度分布不均，会导致局部区域过亮；主动红外补光在某些角度会在眼球上形成亮点，影响眼睛状态的判断。

这些伪影直接影响模型学习，但也间接暴露了标注一致性问题。如果同一个人的一系列图片，一张框到发际线，一张只框到眉毛，模型就会很困惑。我在实践中发现，表情检测的标注一致性甚至比标注精确度更影响最终精度。标注前先统一标准：上边界在眉毛上方且包含额头下沿，下边界在下巴尖，左右边界贴脸不贴发。定好规则后，让标注人员先标注5张图，检查一遍再正式开工。

下面是一个问题速查表，基本覆盖我踩过的坑：

5. 应用场景与后续扩展

5.1 什么场景真正需要红外表情检测

红外表情检测不是所有场景都需要，但对三类应用几乎是刚需。

第一是夜间驾驶的驾驶员状态监测。摄像头装在仪表盘或方向盘附近，用红外补光在夜间、隧道、逆光下工作，判断驾驶员是否疲劳、分心或情绪激动。这种场景对延迟要求高，对误报要求更苛刻，一个小模型的快速推理能力比大模型的精度更有价值。

第二是智能座舱体验优化。车机根据乘客表情调节氛围灯、音响、座椅按摩，甚至判断后排是否有儿童被单独留下。车内环境光线变化极大，白天强光、晚上全黑，红外方案能提供稳定的输入。

第三是安防和智能零售。夜间门禁、ATM机周边、无人店，在弱光环境下识别异常情绪，比如愤怒、恐惧，触发报警或人工介入。纯RGB方案在这种环境失效，红外成了可行解。

5.2 数据集扩展与半自动化标注

338张只是起步，很多真实项目需要继续扩数据。我建议的扩展路径是“再采集 + 半自动标注 + 人工修正”。先拿这个数据集训练一个初始模型，用它去预测新采集的红外图片，生成粗标注；然后人工在标注工具里修正框位置和类别标签，再回流训练。这样一批数据只需要原先三分之一的标注人力。

另外，如果你的红外设备支持连续视频流，还可以从视频中抽帧，并按时间间隔抽样来防止相邻帧过于相似。直接抽连续帧会导致训练集和验证集高度相关，模型评估失去意义。

5.3 模型结构的扩展想法

小数据集训练出的检测模型，还可以作为更大系统里的一个模块。一个比较实用的扩展方向是“多人 + 时间序列表情识别”：先用红外人脸检测模型拿到每张脸的位置，再按人脸区域裁剪出图像序列，用一个轻量级的时序模型判断连续几帧的表情变化。这样可以从单帧表情判断升级为“情绪稳定性分析”，比如一个人是否在几秒内从平静变为愤怒。

至于具体使用YOLOv5还是YOLOv8，我的建议是：如果你更熟悉YOLOv5的生态就用v5，但我个人更推荐v8，因为它的训练配置更简洁，且内置的增强策略对灰度红外图更友好。数据集本身VOC+YOLO双格式已经铺好了路，无论是进v5的dataloader还是v8的dataloader都不会卡壳。

最后再分享一个小技巧：拿到这种双格式数据集，不要只盯着YOLO格式用。VOC格式的xml里包含了图片尺寸信息，是校验YOLO标注是否正确的绝佳参考。我每次训练前，都会抽10张图做一次xml和txt的交叉比对，确认坐标值换算无误后才开跑。这种“笨功夫”看着费时，但比训练到一半发现数据错了再返工，划算太多。