简介：这份资源是面向计算机相关专业学生与项目实战学习者的Python期末大作业完整源码，主题为基于CNN的人脸表情识别系统，适合正在准备课程设计、需要中等难度实战案例的人群参考与二次开发。压缩包共23个文件，约19.17MB，以10个py脚本为核心，涵盖数据读取与写入、模型定义、训练与识别等模块，另含png、jpeg图像素材、tfrecord数据文件、Keras训练脚本、html界面页面、xml配置、md说明文档及一份文本资料，结构完整、层次清晰。项目经导师指导并获评审98分，源码均经本地编译与严格调试，可正常运行，助教老师亦对内容进行过审定。已有144人学习关注，读者可借此掌握CNN表情识别的数据处理、模型搭建、训练调参、图片与摄像头识别等关键环节，并参考README快速复现与排错，为课程设计或毕业项目提供可直接借鉴的完整方案。
1. 一份能跑通的 CNN 人脸表情识别大作业，到底长什么样
每年期末季，计算机专业的学生都会在同一个问题上卡住：选题定了「基于 CNN 的人脸表情识别」，但真正动手时才发现，数据集怎么组织、模型怎么搭、摄像头实时识别怎么接、GUI 怎么串起来，每一步都是坑。这份 Python 期末大作业源码包，就是针对这个场景整理出来的完整工程——它不是一段孤立的模型代码，而是一个从数据读取、训练、保存权重到图片识别、摄像头实时识别、UI 界面展示的闭环项目。
拿到手你会发现目录结构很清晰：data放数据集，cv和FER是核心代码目录，recognition_camera.py负责摄像头实时推理，recognition_pic.py处理单张图片，train.py和train_keras分别对应不同框架的训练入口，model.py定义网络结构，ui.py提供可视化界面，read_data.py和write_data.py管数据读写。适合正在做课程设计、需要一份可运行参考工程的学习者，也适合想快速理解 CNN 表情识别完整链路的入门者。
2. 环境搭建与数据管线：把 FER2013 喂进 CNN 之前要做的三件事
2.1 依赖选型：TensorFlow/Keras 还是 PyTorch
这份源码里同时出现了train.py和train_keras两个训练入口，说明作者至少尝试过两种技术路线。从文件名判断，train_keras目录大概率是基于 Keras 的实现，而train.py可能是纯 TensorFlow 或早期版本。实际复现时，我建议优先走 Keras 路线，原因是 Keras 的ImageDataGenerator和SequentialAPI 对初学者更友好，代码量少，调试成本低。
常见做法是创建一个独立虚拟环境，避免和系统 Python 冲突：
python -m venv fer_env source fer_env/bin/activate # Windows 用 fer_env\Scripts\activate pip install tensorflow==2.10.0 keras==2.10.0 opencv-python numpy pandas matplotlib pillow这里锁定 TensorFlow 2.10 是有原因的：再高的版本对keras.preprocessing.image的路径做了调整，源码里如果用了旧版导入方式会直接报ImportError。OpenCV 用于摄像头帧读取和人脸检测，Pillow 处理图片格式转换，这几个是硬依赖。
参数说明：tensorflow==2.10.0是最后一个同时支持 GPU 和完整 Keras 内置模块的稳定版本；opencv-python不带 contrib 模块，如果你需要 DNN 人脸检测器，要换成opencv-contrib-python。
2.2 数据目录结构与标签映射
FER2013 原始数据是一张 CSV 表，每行一个像素序列加一个表情标签。但这份源码的data目录更可能是按文件夹分类的图片结构，类似：
data/ train/ angry/ disgust/ fear/ happy/ sad/ surprise/ neutral/ test/ ...read_data.py的作用就是遍历这些文件夹，把图片路径和标签对应起来。如果你拿到的数据是 CSV 格式，需要先转成图片再放进对应文件夹。转换逻辑不复杂，但有一个容易翻车的点：FER2013 的像素是 48x48 灰度图，直接reshape(48,48)后保存即可，不要做归一化后再存，否则后续ImageDataGenerator的rescale会重复缩放。
import pandas as pd import numpy as np from PIL import Image import os # 读取 FER2013 CSV df = pd.read_csv('fer2013.csv') emotion_map = {0:'angry', 1:'disgust', 2:'fear', 3:'happy', 4:'sad', 5:'surprise', 6:'neutral'} for idx, row in df.iterrows(): pixels = np.array(row['pixels'].split(), dtype='uint8') img = pixels.reshape(48, 48) label = emotion_map[row['emotion']] usage = row['Usage'] # Training / PublicTest / PrivateTest save_dir = f'data/{usage.lower()}/{label}' os.makedirs(save_dir, exist_ok=True) Image.fromarray(img).save(f'{save_dir}/{idx}.jpg')逻辑说明：row['pixels']是空格分隔的字符串，先 split 再转 uint8；Usage字段区分训练集和测试集，直接映射到文件夹名；保存为 jpg 而不是 png 是为了减小体积，48x48 的灰度图 jpg 压缩损失可以忽略。
2.3 数据增强与归一化参数
train_keras里大概率用了ImageDataGenerator，典型配置如下：
from keras.preprocessing.image import ImageDataGenerator train_datagen = ImageDataGenerator( rescale=1./255, rotation_range=10, width_shift_range=0.1, height_shift_range=0.1, horizontal_flip=True, fill_mode='nearest' )参数说明：rescale=1./255把像素压到 0-1，这是 CNN 收敛的基本要求；rotation_range=10表示随机旋转 ±10 度，表情识别里头部倾斜很常见，这个增强有必要；horizontal_flip=True要谨慎——左右翻转后「厌恶」和「恐惧」的视觉特征可能被破坏，如果训练后这两类混淆严重，先关掉翻转再试。fill_mode='nearest'是旋转后边缘填充策略，用默认值就行。
3. 模型定义与训练：从 model.py 拆出 CNN 的每一层
3.1 网络结构逐层拆解
model.py是整个项目的核心。一份典型的表情识别 CNN 不会太深，因为输入只有 48x48，层数多了反而过拟合。常见结构是 3 个卷积块 + 2 个全连接层：
from keras.models import Sequential from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization def build_model(): model = Sequential() # 第一卷积块 model.add(Conv2D(32, (3,3), activation='relu', input_shape=(48,48,1))) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size=(2,2))) model.add(Dropout(0.25)) # 第二卷积块 model.add(Conv2D(64, (3,3), activation='relu')) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size=(2,2))) model.add(Dropout(0.25)) # 第三卷积块 model.add(Conv2D(128, (3,3), activation='relu')) model.add(BatchNormalization()) model.add(MaxPooling2D(pool_size=(2,2))) model.add(Dropout(0.25)) # 全连接 model.add(Flatten()) model.add(Dense(256, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(7, activation='softmax')) return model逻辑说明：每个卷积块后接BatchNormalization是为了加速收敛，Dropout防止过拟合。最后一层Dense(7, activation='softmax')对应 7 类表情。输入 shape 是(48,48,1)，灰度图单通道，如果你用的是彩色图要改成 3。
参数怎么改：如果训练集准确率上不去，先把Conv2D的滤波器数量翻倍（32→64→128 变成 64→128→256），但要注意显存；如果验证集准确率远低于训练集，加大Dropout比例或减少全连接层神经元数量。
3.2 训练脚本的关键参数
train.py或train_keras里的训练循环通常长这样：
from keras.optimizers import Adam from keras.callbacks import ModelCheckpoint, EarlyStopping model = build_model() model.compile( optimizer=Adam(learning_rate=0.001), loss='categorical_crossentropy', metrics=['accuracy'] ) checkpoint = ModelCheckpoint('best_model.h5', monitor='val_accuracy', save_best_only=True, verbose=1) early_stop = EarlyStopping(monitor='val_loss', patience=10, verbose=1) history = model.fit( train_generator, steps_per_epoch=train_generator.n // batch_size, epochs=50, validation_data=val_generator, validation_steps=val_generator.n // batch_size, callbacks=[checkpoint, early_stop] )参数说明：learning_rate=0.001是 Adam 的常用起点，如果 loss 震荡厉害降到 0.0001；patience=10表示验证 loss 连续 10 轮不降就停，这个值别设太小，表情识别本身波动大；steps_per_epoch用n // batch_size而不是直接写死数字，避免最后一批不足时形状报错。
3.3 训练过程监控与曲线判读
train_loss.py大概率是用来画 loss 和 accuracy 曲线的。训练时重点看两条线：训练 loss 持续下降但验证 loss 开始上升，说明过拟合，加 Dropout 或早停；两条线都平了但准确率不高，说明欠拟合，加层或加神经元。表情识别在 FER2013 上，验证准确率能到 60%-65% 就算正常，别指望 90%+，数据集本身标注就有噪声。
4. 推理链路：图片识别、摄像头实时识别与 UI 串接
4.1 单张图片识别：recognition_pic.py 的完整流程
recognition_pic.py做三件事：读图、检测人脸、分类表情。核心代码逻辑：
import cv2 import numpy as np from keras.models import load_model model = load_model('best_model.h5') face_cascade = cv2.CascadeClassifier( cv2.data.haarcascades + 'haarcascade_frontalface_default.xml') def predict_emotion(img_path): img = cv2.imread(img_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, 1.3, 5) for (x, y, w, h) in faces: roi = gray[y:y+h, x:x+w] roi = cv2.resize(roi, (48, 48)) roi = roi.astype('float32') / 255.0 roi = np.expand_dims(roi, axis=-1) roi = np.expand_dims(roi, axis=0) pred = model.predict(roi) label = ['angry','disgust','fear','happy', 'sad','surprise','neutral'][np.argmax(pred)] cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2) cv2.putText(img, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imshow('Result', img) cv2.waitKey(0)逻辑说明：detectMultiScale的1.3是缩放因子，5是邻域阈值，这两个值调大检测更快但漏检多，调小更灵敏但误检多。roi必须 resize 到 48x48 并归一化，和训练时保持一致。np.expand_dims两次是因为模型输入要求(batch, 48, 48, 1)。
4.2 摄像头实时识别：recognition_camera.py 的帧循环
摄像头版本和图片版本的区别在于帧循环和性能。每帧都跑一次detectMultiScale会卡，常见优化是隔帧检测或缩小检测区域：
cap = cv2.VideoCapture(0) frame_count = 0 faces = [] while True: ret, frame = cap.read() if not ret: break frame_count += 1 if frame_count % 3 == 0: # 每3帧检测一次 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, 1.3, 5) for (x, y, w, h) in faces: roi = gray[y:y+h, x:x+w] roi = cv2.resize(roi, (48, 48)).astype('float32') / 255.0 roi = np.expand_dims(np.expand_dims(roi, -1), 0) pred = model.predict(roi, verbose=0) label = emotion_labels[np.argmax(pred)] cv2.rectangle(frame, (x,y), (x+w,y+h), (0,255,0), 2) cv2.putText(frame, label, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) cv2.imshow('Camera', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()参数说明：frame_count % 3控制检测频率，数字越大越流畅但框会滞后；model.predict(verbose=0)关掉进度条输出，否则控制台刷屏。如果摄像头打不开，先检查cv2.VideoCapture(0)的索引，外接摄像头可能是 1。
4.3 UI 界面：ui.py 与 render.html 的两种展示路径
源码里同时有ui.py和render.html，说明作者提供了两种界面方案。ui.py大概率是 tkinter 或 PyQt 写的桌面窗口，render.html可能是用 Flask 或直接浏览器打开的网页展示。如果你只需要交作业，tkinter 版本足够；如果想做演示效果，Flask 起一个本地服务把识别结果推到网页上更直观。
常见做法是用 Flask 包一层：
from flask import Flask, render_template, Response import cv2 app = Flask(__name__) def gen_frames(): cap = cv2.VideoCapture(0) while True: success, frame = cap.read() if not success: break # 这里插入人脸检测和表情分类逻辑 ret, buffer = cv2.imencode('.jpg', frame) yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + buffer.tobytes() + b'\r\n') @app.route('/') def index(): return render_template('render.html') @app.route('/video_feed') def video_feed(): return Response(gen_frames(), mimetype='multipart/x-mixed-replace; boundary=frame')逻辑说明：gen_frames是生成器，不断把处理后的帧编码成 jpg 推给前端；render.html里用一个<img src="/video_feed">就能显示实时画面。注意 Flask 默认单线程，视频流会阻塞其他请求，生产环境要用threaded=True。
5. 避坑与排查：这份源码跑不起来时先查这五处
5.1 报错ImportError: cannot import name 'ImageDataGenerator'
现象：运行train_keras时直接崩在导入行。原因：TensorFlow 2.16+ 把 Keras 独立出去了，keras.preprocessing.image路径变了。解决：降级到 TensorFlow 2.10 或改用tf.keras.preprocessing.image，同时检查keras和tensorflow版本是否匹配。
5.2 摄像头能打开但识别框一直闪
现象：画面里人脸框位置跳动，标签频繁切换。原因：每帧独立检测，帧间没有平滑。解决：加一个简单的投票机制，连续 5 帧里出现次数最多的标签才显示；或者用cv2.Tracker在检测到人脸后跟踪几帧再重新检测。
5.3 训练准确率卡在 25% 不动
现象：loss 不降，accuracy 约等于 1/7。原因：标签没做 one-hot 编码，或者categorical_crossentropy配了整数标签。解决：检查train_generator.class_mode是否为'categorical'，或者把 loss 换成sparse_categorical_crossentropy并确认标签是整数。
5.4 预测结果永远偏向某一类
现象：不管输入什么图片，输出都是happy或neutral。原因：数据集类别不平衡，FER2013 里happy和neutral样本远多于disgust。解决：在ImageDataGenerator里加class_weight参数，或者对少数类做额外增强。disgust类样本极少，训练时可以考虑合并或丢弃。
5.5model.predict返回形状不对
现象：np.argmax(pred)报 axis 错误或结果始终为 0。原因：输入没有扩展 batch 维度，模型把(48,48,1)当成 batch 处理了。解决：确认roi.shape是(1,48,48,1)，用np.expand_dims两次，或者直接roi = roi.reshape(1,48,48,1)。
6. 进阶技巧：把验证准确率从 60% 推到 68% 的三个实操手段
第一个手段是换人脸检测器。Haar 级联在侧脸和光照差的情况下漏检严重，换成 OpenCV 的 DNN 模块加载预训练人脸检测模型，检测率能提升一截。具体做法是下载res10_300x300_ssd_iter_140000.caffemodel和对应的 prototxt，用cv2.dnn.readNetFromCaffe加载，输入帧做blobFromImage后前向传播，取置信度大于 0.5 的框。这个改动只影响推理阶段，训练不用重跑。
第二个手段是加一个简单的注意力模块。在第三个卷积块后面接一个 SE 块（Squeeze-and-Excitation），对通道做权重分配。代码不复杂：
from keras.layers import GlobalAveragePooling2D, Reshape, Multiply def se_block(input_tensor, ratio=16): channels = input_tensor.shape[-1] se = GlobalAveragePooling2D()(input_tensor) se = Dense(channels // ratio, activation='relu')(se) se = Dense(channels, activation='sigmoid')(se) se = Reshape((1, 1, channels))(se) return Multiply()([input_tensor, se])把第三个Conv2D的输出传给se_block再进池化层。这个改动会让训练慢 10% 左右，但验证准确率通常能涨 2-3 个百分点。
第三个手段是测试时增强（TTA）。推理时对同一张人脸做原图、水平翻转、轻微旋转三种变换，分别预测后取平均概率。代价是推理时间翻三倍，但摄像头场景下每 3 帧检测一次，完全扛得住。我一般会在recognition_pic.py里加这个逻辑，摄像头版本为了流畅度可以不加。
还有一个容易被忽略的点：保存模型时用model.save('best_model.h5')而不是只存权重。只存权重的话，加载时必须先重建一模一样的网络结构，改过model.py就废了。存完整模型虽然文件大一点，但load_model直接能用，省去重建的麻烦。从那以后我每次交作业前都强制走一遍「换一台机器、新建虚拟环境、从头跑通」的流程，确认没有隐藏的本地依赖。希望帮到你。
本文还有配套的精品资源，点击获取
