简介：这份数据集面向从事疲劳驾驶识别、计算机视觉与深度学习的研究人员和开发者，聚焦基于眼睛行为判断驾驶员是否困倦这一关键任务。数据在受控驾驶场景下采集，涵盖不同人口统计对象的眼动记录，包含眼睛图像序列并标注睁眼或闭眼状态，可作为睡意检测的真值依据，适用于分类模型训练、特征提取与算法对比等场景。资源包共2000个json文件，压缩后约526.24MB，文件以结构化标注数据为主，便于直接读取与解析，原始图像规模达88.5K张，由UnityEyes合成模拟器生成，质量较高。目前已有569人学习下载，适合需要快速获取标注数据、搭建瞌睡检测基线模型或开展相关课程实验的读者参考使用。
1. 瞌睡检测数据集怎么选：从“能跑通”到“敢上车”的第一道分水岭
做瞌睡检测的工程师迟早会撞上一堵墙：模型在实验室的干净数据上 AUC 能刷到 0.98，一上车、一进教室、一换摄像头，误报率直接起飞。问题往往不在网络结构，而在数据集——你喂给模型的眼睛开合样本，和真实场景里司机戴墨镜、学生低头、红外补光过曝的画面，根本不是一个分布。瞌睡检测相关的数据集，核心要解决的就是“让模型见过足够多的真实疲劳形态”。它通常包含三类标注：眼睛开合状态、打哈欠/嘴部状态、头部姿态，有的还带 PERCLOS（单位时间闭眼比例）这类时序指标。适合谁用？做疲劳驾驶预警、在线课堂专注度分析、工业监控值守检测的团队，以及想快速验证算法的新手。选错数据集，后面调参全是玄学；选对了，baseline 就能省两周。
2. 瞌睡检测数据集的两条技术路线：关键点回归 vs 端到端分类
2.1 为什么先定路线再挑数据集
瞌睡检测落地时，数据集和算法路线是绑死的。常见做法分两条：一条是基于面部关键点（landmark）回归，先检测 68 点或 98 点，再算 EAR（眼睛纵横比）、MAR（嘴部纵横比）、头部俯仰角，最后用阈值或小分类器判疲劳；另一条是端到端分类，直接把裁剪后的眼部/嘴部图像送进 CNN 或轻量 ViT，输出睁闭、哈欠二分类。前者的数据集必须带关键点标注或至少能稳定检出关键点，后者只需要图像级标签。我一般建议新手先走关键点路线，因为可解释性强，出问题能定位到是 EAR 阈值不对还是关键点抖动；端到端路线对数据量和多样性要求高，但上限也高。
选数据集前先问自己三个问题：目标场景是车内红外还是可见光？算力是边缘芯片还是服务器？标注预算够不够做时序？答案不同，数据集选型完全不同。比如车内红外场景，就要找带 NIR（近红外）图像的数据集，可见光数据集直接迁移会翻车。
2.2 公开数据集盘点与适用边界
目前业内常用的瞌睡检测相关数据集，按形态分几类。第一类是纯眼部状态数据集，比如 CEW（Closed Eyes in the Wild）和 ZJU 眨眼数据集，图像小、标注干净，适合做眼部二分类的预训练或阈值验证。第二类是带关键点的人脸数据集，如 300W-LP、WFLW，它们本身不是疲劳数据集，但可以用来训练或微调关键点模型，再迁移到疲劳场景。第三类是驾驶疲劳专用数据集，如 NTHU-DDD（ drowsiness detection dataset），包含多种光照、戴眼镜、夜间红外视频，标注了困倦/非困倦片段，是做驾驶场景绕不开的。第四类是课堂/办公场景的疲劳数据集，相对零散，常见做法是自己采集加半自动标注。
这里必须提醒：NTHU-DDD 等数据集有使用协议，商用前务必确认许可。另外，很多数据集只给视频级标签，要做帧级 PERCLOS 得自己切帧、对齐时间戳。
2.3 用 Python 快速验证数据集可用性
拿到一个数据集压缩包，别急着写 DataLoader。先跑一段脚本看图像尺寸分布、亮度直方图和类别平衡，这能提前暴露 80% 的坑。
import os import cv2 import numpy as np from collections import Counter # 遍历数据集目录，统计图像尺寸、亮度、类别分布 root = "./drowsiness_dataset/train" sizes, brightness, labels = [], [], [] for cls in os.listdir(root): cls_dir = os.path.join(root, cls) if not os.path.isdir(cls_dir): continue for img_name in os.listdir(cls_dir)[:200]: # 每类抽样200张，避免太慢 img_path = os.path.join(cls_dir, img_name) img = cv2.imread(img_path) if img is None: continue h, w = img.shape[:2] sizes.append((w, h)) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) brightness.append(gray.mean()) labels.append(cls) print("尺寸分布:", Counter(sizes).most_common(5)) print("亮度均值:", np.mean(brightness), "标准差:", np.std(brightness)) print("类别分布:", Counter(labels))这段代码做三件事：抽样统计分辨率，看是否统一；算灰度均值，判断有没有过暗或过曝；统计类别，看是否严重不平衡。参数上，[:200]是抽样上限，数据集大时防止遍历过慢；cv2.imread返回 None 说明文件损坏或路径含中文，需要单独处理。如果亮度标准差超过 40，说明光照差异大，训练时必须加亮度增强，否则模型会偏向某一光照条件。
2.4 标注格式转换：从 VOC 到关键点回归
很多疲劳数据集用 VOC 格式标了人脸框，但关键点路线需要点坐标。常见做法是先用现成关键点模型（如 MediaPipe FaceMesh）对每帧做人脸检测和关键点提取，再人工抽检修正。下面是把 VOC 标注转成关键点训练格式的骨架代码。
import xml.etree.ElementTree as ET import json def voc_to_landmark(xml_path, img_path, detector): tree = ET.parse(xml_path) root = tree.getroot() records = [] for obj in root.findall("object"): bbox = obj.find("bndbox") x1 = int(bbox.find("xmin").text) y1 = int(bbox.find("ymin").text) x2 = int(bbox.find("xmax").text) y2 = int(bbox.find("ymax").text) # 用检测器提取关键点，detector 需提前初始化 landmarks = detector(img_path, (x1, y1, x2, y2)) records.append({ "image": img_path, "bbox": [x1, y1, x2, y2], "landmarks": landmarks # 形如 [[x,y], ...] 共68或98点 }) return records # 批量处理并保存为 jsonl with open("landmarks.jsonl", "w") as f: for xml_file in xml_files: recs = voc_to_landmark(xml_file, img_file, my_detector) for r in recs: f.write(json.dumps(r) + "\n")逻辑说明：VOC 的 bbox 用来裁剪人脸区域，减少背景干扰；detector是外部传入的关键点提取函数，可以用 MediaPipe、Dlib 或自己训练的模型。参数上，关键点数量要和后续 EAR 计算匹配，68 点方案取第 37-42 和 43-48 点算左右眼 EAR。转换后必须人工抽检至少 50 张，看关键点有没有飘到眉毛或脸颊上，否则 EAR 阈值全废。
3. 把数据集喂进模型：训练配置、增强策略与评估指标
3.1 训练集/验证集/测试集怎么切才不泄漏
瞌睡检测数据集切分有个大坑：同一段视频的相邻帧高度相似，随机切分会导致验证集里出现训练集的“近邻”，指标虚高。正确做法是按视频或按人切分，确保同一个人、同一段视频只出现在一个集合里。常见比例是 7:1:2 或 8:1:1，如果数据量小，用 5 折交叉验证，但折也要按人分。我一般会先列出所有 subject ID，用GroupShuffleSplit按组切，而不是train_test_split。
from sklearn.model_selection import GroupShuffleSplit import numpy as np # groups 是每个样本对应的受试者ID或视频ID gss = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42) train_idx, test_idx = next(gss.split(X, y, groups)) # 再从 train 里切验证集 gss_val = GroupShuffleSplit(n_splits=1, test_size=0.125, random_state=42) train_idx2, val_idx = next(gss_val.split(X[train_idx], y[train_idx], groups[train_idx]))参数说明：test_size=0.2留 20% 做测试，0.125是从剩余 80% 里再切 10% 做验证。groups必须和样本一一对应，不能有缺失。切完后检查三个集合的类别比例是否接近，如果验证集里疲劳样本不到 10%，需要调整切分随机种子或分层。
3.2 针对疲劳场景的数据增强参数
疲劳检测的增强不能照搬 ImageNet 那套。翻转要慎用：水平翻转会改变左右眼位置，如果模型依赖左右眼不对称特征，翻转反而有害。亮度调整范围建议 ±30%，模拟隧道进出和夜间会车；高斯噪声 sigma 控制在 5-10，模拟低照度传感器噪声；随机遮挡要模拟墨镜和口罩，遮挡区域放在眼部和嘴部，比例不超过 20%。旋转角度 ±10 度足够，太大不符合真实头部姿态。
import albumentations as A train_transform = A.Compose([ A.RandomBrightnessContrast(brightness_limit=0.3, contrast_limit=0.2, p=0.7), A.GaussNoise(var_limit=(5.0, 10.0), p=0.3), A.CoarseDropout(max_holes=2, max_height=20, max_width=20, fill_value=0, p=0.3), # 模拟墨镜/口罩遮挡 A.Rotate(limit=10, border_mode=cv2.BORDER_REPLICATE, p=0.5), A.Resize(112, 112), ])逻辑说明：RandomBrightnessContrast的brightness_limit=0.3表示亮度乘性变化 ±30%，contrast_limit=0.2控制对比度。CoarseDropout的max_holes=2模拟双眼或眼嘴同时遮挡，fill_value=0用黑色填充，接近墨镜效果。Rotate的border_mode用复制边缘，避免旋转后出现黑边被模型当成特征。所有增强只在训练时开，验证和测试用原图加 Resize。
3.3 评估指标：别只看准确率
疲劳检测的类别通常不平衡，清醒样本远多于疲劳样本。只看准确率，模型全预测清醒也能到 90%。必须看召回率（疲劳被检出的比例）、精确率（误报率）和 F1。驾驶场景更关注漏检，所以召回率优先；课堂场景误报会打扰学生，精确率也要盯。PERCLOS 类任务还要看 MAE（平均绝对误差）。建议画 PR 曲线，选阈值时在召回 0.9 的前提下看精确率能到多少。
from sklearn.metrics import classification_report, precision_recall_curve # y_true, y_pred_prob 为验证集标签和预测概率 precision, recall, thresholds = precision_recall_curve(y_true, y_pred_prob) # 找召回>=0.9时对应的最大精确率 idx = np.where(recall >= 0.9)[0] best_th = thresholds[idx[np.argmax(precision[idx])]] print(classification_report(y_true, (y_pred_prob >= best_th).astype(int)))参数说明：precision_recall_curve返回的 thresholds 比 precision/recall 少一个元素，索引时注意对齐。best_th是满足召回要求下的最优阈值，实际部署时把这个阈值写进配置文件，不要用默认 0.5。
4. 避坑与排查：瞌睡检测数据集最常见的 5 个翻车现场
4.1 现象：验证集指标很高，实车测试疯狂误报
原因：数据集里疲劳样本多为闭眼，但真实场景中司机低头看手机、揉眼睛也被模型判成闭眼。本质是数据集缺少“非疲劳但眼睛闭合”的负样本。解决：在训练集中加入低头、揉眼、说话等困难负样本，或用关键点路线加头部姿态约束，低头超过 30 度不判疲劳。
4.2 现象：夜间红外视频上模型几乎全预测清醒
原因：训练集以可见光为主，红外图像灰度分布完全不同，模型没学过 NIR 特征。解决：找带 NIR 的数据集（如 NTHU-DDD 的夜间部分）做微调，或在增强里加灰度化和伽马变换模拟红外。更彻底的做法是训练时随机把 RGB 转灰度，强迫模型学亮度纹理而非颜色。
4.3 现象：EAR 阈值在部分人身上完全失效
原因：不同人眼型差异大，单阈值不通用。解决：用自适应阈值，先采集每个人清醒状态 30 秒的 EAR 均值，阈值设为均值的 70%。或者直接训练一个小分类器替代阈值，输入 EAR 序列，输出疲劳概率。
4.4 现象：视频切帧后标签错位，疲劳片段被切碎
原因：数据集给的是视频级标签，切帧时没对齐时间戳，导致疲劳片段中间混入清醒帧。解决：切帧时保留原始帧号和时间戳，按标签区间切，不要等间隔抽样。如果必须抽样，确保抽样后的帧仍落在同一标签区间内。
4.5 现象：数据增强后模型不收敛，loss 震荡
原因：增强太猛，比如亮度 ±50% 加旋转 ±30 度加遮挡 40%，训练样本和验证样本分布差距过大。解决：逐步加增强，先只开亮度 ±20%，稳定后再加噪声和遮挡。用 TensorBoard 看训练 loss 和验证 loss 的差距，差距持续扩大就减增强强度。
5. 从数据集到落地：用半自动标注把自有数据滚起来
公开数据集只能解决冷启动，真正要上车或进教室，必须用自己的数据迭代。全人工标疲劳视频成本极高，我一般用半自动流程：先用公开数据训一个 baseline，对自有视频做推理，把高置信度的疲劳片段和清醒片段自动打标，只对模型不确定的中间段做人工复核。这样标注量能降 60% 以上。
具体操作：用训练好的模型对每帧输出疲劳概率，概率 >0.9 标疲劳，<0.1 标清醒，中间的交给人。人工复核时用 CVAT 或 Label Studio，按视频片段跳转，不要逐帧看。复核完把新标注数据加入训练集，重新训练，再跑一轮推理。通常迭代 2-3 轮，模型在自有场景的召回率能从 0.6 提到 0.85 以上。
验证方法上，我会留一段完全没参与过任何训练的“黄金视频”，每轮迭代后在这段视频上算召回和误报次数。黄金视频要覆盖白天、夜间、戴眼镜、不戴眼镜四种情况，每种至少 10 分钟。如果某一类召回明显低，就针对性补那类数据，而不是盲目加量。
最后说个血泪经验：数据集文档里写的“标注准确率 99%”别全信，一定要自己抽检。我见过关键点标注整体偏移 5 个像素的数据集，直接拿来训 EAR 模型，阈值怎么调都不对。抽检 50 张，用脚本把关键点画到原图上，肉眼过一遍，比看任何指标都管用。希望帮到你。
本文还有配套的精品资源，点击获取
