人脸表情识别+课堂行为检测的Python毕设实战指南

简介：这是一份基于Python的人脸表情识别课堂行为检测系统毕业设计项目，包含完整源码与预训练模型，面向计算机相关专业正在准备毕设的学生，也适合课程设计、期末大作业及需要完整实战项目的初中级学习者。系统经导师指导并获得高分认可，目前已有216人学习下载，代码可运行，适合二次开发。压缩包共261个文件，含90个py源码、75个pyc编译文件、24个html页面、21个css样式、17个mp4演示视频，以及h5模型、db数据库、xml配置与readme说明等，整体大小118.46MB。py与pyc承载核心逻辑，html与css覆盖管理员登录、课程管理、学生端、教师端等界面，mp4展示操作流程，文档辅助快速上手，便于作为毕设参考或课堂行为分析场景的拓展研究。

1. 为什么说“人脸表情识别+课堂行为检测”是毕设里性价比最高的组合？

答辩现场，老师一句“把摄像头打开演示一下”，很多毕设当场翻车：人脸框要么不出现，要么在屏幕上来回跳，表情标签和实际状态对不上。人脸表情识别的课堂行为检测系统，核心就三件事——实时框出画面里的学生、识别每个人的表情状态、把一段时间内的状态汇总成“专注、低头、瞌睡、举手”之类的课堂行为统计。它解决的问题是把摄像头画面变成可量化的课堂记录，能出实时画面、能导Excel、能画统计图，现场演示效果非常直观。适合做Python方向毕业设计的计算机、电子信息类专业学生，尤其是想用摄像头实时交互做亮点、又不想在模型训练上投入太多时间的场景。下面按选型、实现、踩坑的顺序，把这套链路完整拆开。

2. 先选型再动手：人脸检测、表情模型和行为判定，三层技术路线一次说清

课堂行为检测系统在结构上分三层：人脸检测负责定位画面里的人脸，表情识别负责给每张人脸打标签，行为判定负责把帧级标签转化成“最近几分钟在干什么”。很多拿到“源码+模型”的同学第一件事是跑demo，但demo能跑不等于换个教室、换台电脑还能跑，能讲清楚每一层为什么这么选，才是答辩时的真正分数。

标题里既然带了“源码+模型”，默认你已经有一份训练好的表情模型权重，但选型这关不能略过，因为你还要讲清楚为什么不用别的方案。

2.1 人脸检测：为什么OpenCV DNN是毕设最稳的起点

人脸检测可选方案很多：OpenCV自带的DNN人脸检测器、MTCNN、RetinaFace、MediaPipe FaceMesh。毕设场景和安防场景不一样，你的摄像头大概率是教室前方或者讲台上的普通USB摄像头，学生坐在固定位置上，人脸尺度中等到偏小，光线受窗户和投影仪干扰。这种场景下，稳定性和部署成本比极致精度更重要。

我的选择逻辑很简单：先把OpenCV DNN用起来，它随opencv-python一起装好，不需要额外下载模型之外的东西，CPU上能跑实时。如果测试时发现后排人脸漏检，再叠加多尺度检测或者直接换成MediaPipe。OpenCV DNN的两个关键参数是输入尺寸和置信度阈值，一般用300x300输入，conf_threshold取0.6到0.7。阈值调低了会出大量假框，调高了后排人脸直接消失，这个在后面避坑章节还会细说。

注意，OpenCV DNN检测器对水平翻转、大角度侧脸很敏感，但课堂场景里学生正对黑板的时间占绝大多数，所以可以用。需要额外说明的是，如果要判断“低头”，单靠人脸框不够，通常用MediaPipe FaceMesh取鼻尖和两眼连线的位置关系，这个在第三章会给出可运行的判断函数。

2.2 表情识别：MobileNetV3够用，Vision Transformer先别碰

表情识别是这套系统的算法核心。公开数据集最常见的是FER2013，48x48灰度图，七类：angry、disgust、fear、happy、sad、surprise、neutral，大约4.8万张样本。这个数据集有个典型问题：类别严重不均衡，disgust只有几百张，其他类别多则近万。训练出来的模型天然偏向neutral和happy，放到真实课堂环境里，几乎所有人都会被打成neutral，这点提前有心理预期。

模型结构上，常见选择有三档：

• 自建小型CNN：参数量几万，训练快，但答辩时老师会问“为什么这么设计”，讲不出花来，精度也一般。
• ResNet18或ResNet34：迁移学习效果好，7分类能在测试集上做到65%左右（FER2013的公开基准），缺点是CPU上跑224x224输入偏慢。
• MobileNetV3：精度和ResNet18接近，速度明显更快，CPU上单张图约10~20ms，适合实时系统。

Vision Transformer最近很火，理论上ViT需要大量数据和强预训练，FER2013这个量级拿不到明显收益，而且你把训练和推理环境搭到能跑ViT，时间成本已经超出一门毕设的预算了。更实际的做法是：用ImageNet预训练的MobileNetV3，把最后一层换成7分类全连接，输入尺寸用112x112或者96x96，灰度图转成三通道复制后输入。训练时冻结前80%的层，只微调后面几层，学习率设1e-4，数据增强做随机旋转、亮度抖动、水平翻转和随机遮挡，能有效缓解训练集和课堂实拍分布的差异。

还有一个优化点是损失函数。直接softmax交叉熵在类不均衡下对minority类不友好，可以给每个类别配权重，权重和样本数成反比；或者用focal loss，让模型把注意力放在难分样本上。这些都是答辩时可以展开讲的技术点，比“我用了CNN”要扎实得多。

2.3 行为判定：不用视频动作识别，用规则引擎加追踪

看到“课堂行为检测”，有人会直接想到TSN、SlowFast这类视频动作识别模型。但对毕设来说，这条路性价比太低：你需要标注“前8秒学生在干嘛”这种视频级标签，训练时间长，还很难解释中间帧的误判。课堂行为本身有强先验规则，用规则引擎完全够用，而且规则可解释、可调参，答辩时老师问任何一条判定逻辑你都能答上来。

行为判定的基础不是表情，而是头部姿态和时序。举例：学生低头看书和趴桌睡觉，表情可能都是neutral，区分它们的关键是低头角度和持续时间；学生举手时人脸往往偏转角度较大，同时手部区域出现，单纯靠人脸完全不够，所以常见做法是对举手单独用肤色检测或者手部目标检测做辅助。头部的“低头”判断用MediaPipe FaceMesh的468个关键点：取鼻尖与两眼连线中点的相对高度，超过阈值判定为低头。光靠单帧不够，需要连续帧计数，比如连续N帧（对应3~5秒）低头才判定为“瞌睡倾向”，短暂低头算“阅读”，这样才有区分度。

规则引擎还有一层关键部件：人脸追踪。没有追踪的人脸检测，每一帧框出来的人脸没有ID，上一帧的“张三”下一帧可能变成了“李四”，统计结果完全没法用。常见做法是用中心点最近邻匹配，给每个人脸分配临时ID，检测不到了就保留ID一段时间。这部分代码会在3.3节给出，阈值和参数也会一起说明。

3. 从零把课堂行为检测系统跑通：人脸检测、表情识别、状态统计到可视化界面

这一章给的是可直接复用的最小实现，不依赖任何假想的项目结构，你自己新建工程目录照抄即可。默认你已经装好了Python 3.8以上版本，VS Code的Python环境也配置好了，这里不再重复python安装教程的细节，直接进依赖和环境。

3.1 环境准备与工程目录

先建一个干净的目录结构，把模型文件和代码分开，防止路径混乱。下面的requirements.txt覆盖了推理阶段所有依赖：

# requirements.txt opencv-python==4.8.1.78 onnxruntime==1.16.3 mediapipe==0.10.7 numpy==1.24.3 matplotlib==3.7.2 pandas==2.0.3

classroom_behavior/ ├── models/ │ ├── face_detector/ │ │ ├── deploy.prototxt │ │ └── opencv_face_detector_uint8.pb │ └── emotion_mobilenet.onnx ├── src/ │ ├── live_demo.py │ ├── tracker.py │ ├── behavior.py │ └── export_report.py ├── output/ └── requirements.txt

说明两点。第一，opencv-python里不包含人脸检测器权重文件，deploy.prototxt和opencv_face_detector_uint8.pb需要单独下载放到models/face_detector下，这个权重是OpenCV官方提供的，大约2MB。第二，表情模型用ONNX格式是为了彻底摆脱PyTorch的环境依赖，答辩演示时只用装onnxruntime就能跑。如果你的原始权重是PyTorch的.pth，用torch.onnx.export导出一次即可，导出时输入维度固定为[1,3,112,112]或者[1,1,48,48]，具体看训练时的预处理。

3.2 人脸检测加表情识别串联的最小推理脚本

下面这段代码把摄像头读取、人脸检测、表情分类串成一个可实时运行的脚本。重点在于：模型输入预处理必须和训练时完全一致，否则精度会明显退化。

# src/live_demo.py import cv2 import numpy as np import onnxruntime as ort EMOTIONS = ['angry', 'disgust', 'fear', 'happy', 'sad', 'surprise', 'neutral'] def load_models(): # 人脸检测器：OpenCV DNN，Caffe格式 face_net = cv2.dnn.readNetFromCaffe( 'models/face_detector/deploy.prototxt', 'models/face_detector/opencv_face_detector_uint8.pb' ) # 表情识别：ONNX Runtime，CPU推理 emotion_session = ort.InferenceSession( 'models/emotion_mobilenet.onnx', providers=['CPUExecutionProvider'] ) return face_net, emotion_session def detect_faces(face_net, frame, conf_threshold=0.7): h, w = frame.shape[:2] # 统一缩放到300x300，并用检测器训练时的均值做减均值操作 blob = cv2.dnn.blobFromImage( cv2.resize(frame, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0) ) face_net.setInput(blob) detections = face_net.forward() faces = [] for i in range(detections.shape[2]): conf = detections[0, 0, i, 2] if conf < conf_threshold: continue box = detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 = box.astype(int) x1, y1 = max(0, x1), max(0, y1) x2, y2 = min(w, x2), min(h, y2) faces.append((conf, x1, y1, x2, y2)) return faces def predict_emotion(session, face_img): gray = cv2.cvtColor(face_img, cv2.COLOR_BGR2GRAY) gray = cv2.resize(gray, (48, 48)) gray = gray.astype(np.float32) / 255.0 # 模型输入是 [1,1,48,48] 的灰度张量 input_tensor = gray[np.newaxis, np.newaxis, :, :] input_name = session.get_inputs()[0].name outputs = session.run(None, {input_name: input_tensor})[0][0] idx = int(np.argmax(outputs)) return EMOTIONS[idx], float(outputs[idx])

逻辑说明：detect_faces里将检测框坐标乘以[w,h,w,h]，是因为网络输出是0到1的归一化坐标；同时用max/min做边界裁剪，防止裁剪人脸时越界。predict_emotion里把彩色图转灰度、缩放到48x48、除以255，这套顺序必须固定，如果训练时是减均值再除以标准差，这里也要对应修改。

参数说明：conf_threshold取0.7是正面课堂场景的折中值，后排人脸置信度可能只有0.4~0.6，如果实测漏检，把它降到0.5，但代价是桌面、书本等误检增加，需要配合下一节的最小检测面积过滤。此外，48x48输入对应的是FER2013原始尺寸，如果你的表情模型是112x112或224x224，把resize的目标尺寸改掉即可，不要照搬。

3.3 行为判定与临时ID追踪：把表情帧序列变成课堂状态

实时视频里如果没有追踪，同一张脸在不同帧之间没有关联，姿态判定和时长统计都无从谈起。这里实现一个简单但有效的中心点最近邻追踪器，再结合MediaPipe的头部关键点判断低头状态。

# src/tracker.py class FaceTrack: def __init__(self, box, frame_idx): self.cx = (box[0] + box[2]) // 2 self.cy = (box[1] + box[3]) // 2 self.box = box self.last_frame_idx = frame_idx self.frames_alive = 1 self.miss_frames = 0 def update(self, box, frame_idx): self.cx = (box[0] + box[2]) // 2 self.cy = (box[1] + box[3]) // 2 self.box = box self.last_frame_idx = frame_idx self.frames_alive += 1 self.miss_frames = 0 def match_tracks(tracks, dets, frame_idx): MAX_DIST = 80 # 同一人两帧间中心点最大位移像素 MAX_MISS = 10 # 允许漏检的最大帧数 unmatched_tracks = [] for track in tracks: if frame_idx - track.last_frame_idx > MAX_MISS: continue # 太久没出现，视为离开画面 unmatched_tracks.append(track) matched = [] for det in dets: _, x1, y1, x2, y2 = det det_cx = (x1 + x2) // 2 det_cy = (y1 + y2) // 2 best_track = None best_dist = MAX_DIST for track in unmatched_tracks: dist = (track.cx - det_cx) ** 2 + (track.cy - det_cy) ** 2 if dist < best_dist: best_dist = dist best_track = track if best_track is not None: best_track.update((x1, y1, x2, y2), frame_idx) unmatched_tracks.remove(best_track) matched.append((best_track, det)) else: # 新出现的人脸，创建新轨迹 tracks.append(FaceTrack((x1, y1, x2, y2), frame_idx)) return matched

逻辑说明：匹配规则是每一帧的人脸框去找它前一帧里距离最近的轨迹，欧氏距离用平方比较大小，省一次开方运算。MAX_DIST=80对应摄像头分辨率1024x768下的经验值，分辨率提高时要适当放大。MAX_MISS=10意味着检测器连续10帧漏掉这张脸后，这条轨迹才被彻底放弃；如果只是偶尔漏检，轨迹仍然保留并沿用最后位置，这样状态统计不会被中断。

头部姿态与行为判定的代码放在behavior.py：

# src/behavior.py import mediapipe as mp mp_face_mesh = mp.solutions.face_mesh face_mesh = mp_face_mesh.FaceMesh( static_image_mode=False, max_num_faces=5, refine_landmarks=True, min_detection_confidence=0.5 ) def head_down_ratio(rgb_frame, img_h): results = face_mesh.process(rgb_frame) if not results.multi_face_landmarks: return None, None nose_y_list = [] eye_y_list = [] # 只取前两个人脸做示例，教室场景可循环处理 for lm in results.multi_face_landmarks[:2]: nose_y = lm.landmark[1].y * img_h eye_y = (lm.landmark[33].y + lm.landmark[263].y) / 2 * img_h nose_y_list.append(nose_y) eye_y_list.append(eye_y) # 返回每个人脸的低头归一化指标，大于0表示鼻尖在眼睛下方 return nose_y_list, eye_y_list def judge_behavior(head_down_values, continuous_frames, fps): SLEEP_SECONDS = 5 sleep_frames = int(SLEEP_SECONDS * fps) behaviors = [] for v in head_down_values: if v is None: behaviors.append('unknown') continue if v > 0 and continuous_frames >= sleep_frames: behaviors.append('sleeping') elif v > 0: behaviors.append('head_down') else: behaviors.append('focus') return behaviors

这里的head_down_ratio返回的是鼻尖和两眼中心的高度差。MediaPipe的landmark索引中，1是鼻尖，33是左眼眼角，263是右眼眼角，图像坐标系向下为正，所以鼻尖y坐标大于眼睛中心y坐标时，判断为低头。阈值0是零界点，实际应用时会发现不同学生坐姿差异很大，有的人天生低头角度就大，所以更稳的做法是先让系统静默运行30秒，统计每个ID的基准低头值，再按基准值加偏移作为个人阈值。这个“自适应校准”的思路，答辩时是很好的加分项。

3.4 导出统计结果：从帧级标签到Excel报表和可视化图表

行为判定的最终产物不是实时画面里的标签，而是一节课的统计报表。常见做法是把每一秒的结果写入内存记录，课程结束后统一聚合，输出Excel和图表。

# src/export_report.py import csv from collections import defaultdict # session_records 格式: [(学生ID, 行为状态, 开始时间戳, 结束时间戳)] def aggregate(session_records): summary = defaultdict(lambda: defaultdict(int)) for sid, state, start, end in session_records: seconds = int((end - start).total_seconds()) summary[sid][state] += seconds return summary def export_csv(summary, output_path): with open(output_path, 'w', newline='', encoding='utf-8-sig') as f: writer = csv.writer(f) writer.writerow(['学生ID', '专注秒数', '低头秒数', '瞌睡秒数', '未知秒数']) for sid, states in sorted(summary.items()): writer.writerow([ sid, states.get('focus', 0), states.get('head_down', 0), states.get('sleeping', 0), states.get('unknown', 0) ])

逻辑说明：session_records不是逐帧数据，而是行为状态切换时生成的时间段。比如某个学生从focus切换成head_down时，才把前一个状态写进列表，这样一节课45分钟的数据量只有几百条，聚合速度很快，也不需要用数据库。

参数说明：导出CSV时用encoding='utf-8-sig'，这个参数很重要，直接写utf-8用Excel打开会乱码，utf-8-sig带BOM头，Excel识别没有问题。可视化部分可以用matplotlib画堆叠柱状图或者饼图，展示每个学生三种状态的时间占比，只需要从这个summary字典取数即可。

4. 课堂行为检测避坑指南：数据、环境与判定的5个常见问题

标题里写着“高分毕设”，但高分往往不是算法多先进，而是把坑填得比其他人多。下面这几条踩坑记录全是我在类似项目里真实遇到过的，每一条都按“现象到原因到解决”说清。

4.1 训练好的表情模型一接摄像头就只会报“中性”

现象：用FER2013训练出来的模型在测试集上准确率有60%以上，但一接到摄像头，画面里所有学生全被识别成neutral，偶尔跳一个happy或sad，系统看起来像没工作。

原因：FER2013的人脸是互联网图片裁剪出来的，中心对齐、光照均匀、正面视角，而课堂摄像头是俯拍或侧拍，人脸经常带遮挡、模糊、逆光，喂给模型的特征分布和训练数据差得很远。模型为了降低损失，倾向把所有未知输入推到样本量最大的neutral类别上。另外，低置信度帧没有过滤，也让neutral占绝对主导。

解决：先在推理端过滤，softmax概率低于0.5的帧标记为unknown，不参与行为统计；再给训练加随机亮度抖动、随机仿射变换、随机遮挡，让模型见过更多“脏”数据。如果时间充裕，用已训练模型对课堂实拍视频做伪标签，挑选高置信度的帧微调模型，这个方法在毕设周期内非常有效，也能在论文里写成“领域自适应微调”。

4.2 人脸框在同学之间“漂移”，统计结果完全失真

现象：两个相邻学生，前10帧这个ID还在左边同学脸上，后10帧同一个ID跳到右边同学脸上，统计下来两个人的专注时长远超一节课时长，ID切换次数高得离谱。

原因：人脸检测框本身有抖动，同一张脸每帧框的位置会上下左右波动几个像素；座位近的学生中心点距离可能只有二三十像素，单纯按最小距离匹配，轨迹自然容易串。

解决：从三个方向入手。第一，检测框做平滑，把最近5帧的框坐标取中值，避免单帧跳变。第二，匹配时不只看中心点距离，还要比对框的宽高比和面积，如果面积变化超过50%就认为不是同一人。第三，只有连续5帧以上成功匹配并且中心点总位移不超过一定范围，才给这条轨迹分配正式ID，否则当成临时误检丢弃。这部分可以在自动评估时统计“每节课ID切换次数”这个指标，用数据证明追踪模块有效。

4.3 摄像头打不开、画面花屏或预览极慢

现象：代码在其他电脑上跑得好好的，换到答辩教室的笔记本上，cv2.VideoCapture(0)正常执行，但cap.read()一直返回False，或者画面只有上半部分、颜色是花的。

原因：最常见的是OpenCV在Windows上默认用MSMF后端，部分USB摄像头驱动不兼容；另一个原因是摄像头默认分辨率很高，比如1080p 30fps，USB带宽不足时OpenCV读出来的是残缺帧。

解决：创建VideoCapture时显式指定CAP_DSHOW后端，并主动把分辨率降到640x480或800x600，帧率设为25：

cap = cv2.VideoCapture(0, cv2.CAP_DSHOW) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) cap.set(cv2.CAP_PROP_FPS, 25)

如果还是打不开，打开Windows相机应用先确认摄像头本身正常，再用设备管理器看摄像头驱动是否被占用。课堂演示前，务必用目标机器测试一次，这是血泪经验。

4.4 行为时长统计不准，低头总时长明显偏长

现象：学生低头看书5秒，系统统计出15秒低头；抬头后标签还停留在head_down好一阵子，导致专注时长被吃掉。

原因：行为判定只看连续帧计数，忽略了状态切换后的滞回。低头状态在阈值边界反复横跳时，帧计数没有快速清零；另外，有些同学低头角度在阈值附近，一帧高一点一帧低一点，产生抖动。

解决：加两个机制。第一，进入低头状态需要连续N帧超过阈值，退出低头状态也需要连续M帧低于阈值，N和M取不同值，N=5帧、M=15帧，防止频繁抖动，这类似信号处理里的滞回比较器。第二，定时基准不用帧间隔估算，而用真实时间戳。如果摄像头帧率忽高忽低，frame_count除以固定fps等于给时长统计引入误差，正确做法是在状态切换时记time.time()，用两个时间戳之差作为片段时长，这个改动很小，但统计精度提升明显。

4.5 表情分类中disgust几乎学不会，输出层直接废掉一个类别

现象：训练曲线显示disgust的F1始终在0.1以下，测试集上一遇到disgust样本就被分到angry或sad，课堂场景里更是一次都没出现过。

原因：FER2013中disgust只有几百张，占比不到2%，普通交叉熵训练对这类样本的梯度贡献太小，网络学不到有效特征。

解决：处理手段有三个。第一，训练时给类别加权，disgust类别的权重设为其他类别的5到10倍。第二，用类别重采样，每次batch里保证disgust出现一定比例。第三，如果效果仍不理想，在答辩分析里直接指出这个数据集的局限性，并说明课堂行为判定其实不依赖disgust这个类别，重点放在neutral、happy、sad三类上。诚实分析模型缺陷，比回避问题更容易拿高分。

5. 用验证数据让毕设再涨一档：行为混淆矩阵、消融实验与答辩呈现

行为检测系统最容易让评委怀疑的，就是判定规则是不是“拍脑袋”。要打消这种怀疑，不要只放几张效果图，直接给一张人工标注与系统输出的混淆矩阵。

先录一段5到10分钟的课堂视频，手工标注每一秒学生的真实行为状态，然后让系统跑同一段视频，按秒对齐，统计出表：

这段视频就是你的验证集，跑完之后先算对角线之和除以总样本数得到总体准确率，再算每一类的精确率和召回率，写进论文的实验章节。注意标注时要标学生的“第二状态规则”，比如低头看书和闭眼瞌睡的区别，否则后期争议很大。

消融实验不用做得太重，对比两组即可：有追踪和无追踪的ID切换次数，以及有滞回判定和无滞回判定的状态切换频率。这个对比能直观证明你的工程改进有效。演示时，把fps显示在画面左上角，同时打印状态统计表，让评委看到数值在变化而不是死数据。答辩讲三个点：预处理和训练时输入完全一致、行为阈值来自人工标注视频标定而不是猜的、模型缺陷用数据说清楚。

我第一次做这类题目时，直接拿公开模型跑真实课堂，结果后排人脸漏得只剩两三张，后来加了多尺度检测和个人阈值校准才勉强能看，那段视频至今还留着当作反面教材。评估脚本也别嫌麻烦，哪怕写个十几行的统计函数，也比空口说“准确率还行”有说服力得多。希望帮到你。

本文还有配套的精品资源，点击获取