Matlab深度学习人脸识别实践：迁移学习与特征验证完整指南

简介：这份Matlab深度学习人脸识别源码包，面向计算机、电子信息工程及数学专业的大学生，适用于课程设计、期末大作业或毕业设计中的算法验证与功能参考。代码基于MatConvNet框架实现，覆盖卷积、池化、批归一化、SoftMax分类等核心网络层模块，并包含DagNN网络封装及数据预处理相关函数，适合有一定深度学习基础、需要自行调试与二次开发的读者作为参考资料。资源共44个文件，全部为m脚本，压缩包仅37KB，结构紧凑、命名规范，便于按模块快速定位并理解网络构建逻辑，可直接导入Matlab运行调试。目前已有1224人学习浏览，适合作为人脸识别算法入门或课程项目实现的可行参考。需注意，源码为通用实现而非定制方案，使用时建议结合自身环境适配参数，并具备独立解决运行报错的能力。

1. 为什么在深度学习时代还要用Matlab做人脸识别：先想清楚适用边界

看到“基于Matlab实现深度学习人脸识别”这类标题，先别急着否定Matlab。中小规模的人脸识别场景，这套基于Deep Learning Toolbox的迁移学习方案，比现搭一套Python环境更容易跑通，也更容易被懂行的人审阅。深度学习人脸识别落到工程上是三个环节：照片数据整理、预训练网络迁移、识别Demo验证。标题指向的这类源码包，常见实现都围绕这条线展开。

直接说适合谁：需要快速出原型的工程师、做项目预研的学生、团队已经习惯了Matlab又不想为一个人脸识别引入第二套技术栈的人。数据量不大、人员名单固定、要在一周内拿出可演示结果的任务，Matlab反而省时间。本篇记录按同样的顺序展开，先讲技术路径和选型，再复现数据准备与训练，最后给避坑清单和验收方法。

2. 人脸识别在Matlab里的技术骨架：分类头、特征向量与验证流程

做深度学习人脸识别，Matlab不是拿来改配置的玩具，它的数据流和训练过程是完整可审计的。动手前，先想清楚一个模型在工程上是“认人”还是“验证人”。这个选择决定了最后一层的写法，也决定了后续踩坑的类型。

2.1 先决定你的模型要解决哪种问题：封闭集还是开放集

直接分类的路线把任务当成图像分类：网络最后接一个全连接层，输出维度等于已知身份数，再接softmax，用交叉熵损失逼近目标。识别时输入一张脸，输出一个概率分布，概率最高的就是预测身份。这套结构实现最直接，收敛稳定，适合人员基本固定的考勤类场景。

开放集验证的路线把网络当成特征提取器：取最后一层之前的特征向量，对脸图做归一化，用余弦距离与特征库里的样板做比较。距离小于阈值判为同一个人，否则判为陌生人。它不需要在训练标签里引入“陌生人”这个类，适合门禁、访客这类不断出现新面孔的场景。

这类源码包的常见实现，是先走分类路线把训练跑通，把识别率做到可用，再在部署层加一道特征距离判断来拦住陌生人。两个阶段共用同一个网络主干，代码成本不高。先弄清自己处在哪一端，再看下面的实现才不会走偏。

2.2 Matlab深度学习工作流：一个数据流的完整骨架

Deep Learning Toolbox把训练管线拆成几个明确角色：imageDatastore负责把照片和标签组织起来；augmentedImageDatastore负责在喂入网络前完成resize和数据增强；layerGraph负责搭建和修改网络结构；trainNetwork执行训练；classify和activations负责推理。

% 骨架：Matlab深度学习人脸识别的完整数据流 imds = imageDatastore('dataset', 'IncludeSubfolders', true, ... 'LabelSource', 'foldernames'); % 子文件夹名即标签 [imdsTrain, imdsVal] = splitEachLabel(imds, 0.8, 'randomized'); inputSize = [224 224 3]; augmenter = imageDataAugmenter('RandRotation', [-10 10]); auimdsTrain = augmentedImageDatastore(inputSize, imdsTrain, ... 'DataAugmentation', augmenter); % 训练集做增强 auimdsVal = augmentedImageDatastore(inputSize, imdsVal); % 验证集只resize lgraph = layerGraph(resnet18); % 这里必须替换末端全连接层和分类层，见第4章，骨架不能直接训练 options = trainingOptions('sgdm', 'InitialLearnRate', 1e-4); net = trainNetwork(auimdsTrain, lgraph, options);

注意几点：imageDatastore通过子文件夹名自动生成categorical类型的标签，不需要手工维护一个标签文件；augmentedImageDatastore的响应（标签）继承自原datastore，不需要另外指定；trainNetwork的第二个参数是层图或层数组，不是已经训练好的网络。把这条链理顺，后面所有调参和排查都围绕它转。

习惯上，我会先把这段骨架在本地跑一遍，哪怕只放几个身份、每人十几张图，用analyzeNetwork检查一次网络结构。这样做能在动手前拦下绝大部分“层名找不到”“维度对不上”“分类层数量不对”的问题。

2.3 为什么迁移学习能压缩工程量：预训练权重、冻结层与调参范围

为什么用迁移学习而不是从零搭网络？因为人脸识别工程场景通常只有几千到几万张图，从零训练的卷积网络在这个量级很难收敛出稳定的通用特征。预训练权重在通用大图上已经学到边缘、纹理、形状这些基础特征，能省掉大量样本和时间。迁移学习真正需要管理的是三件事：哪些层要更新、哪些层别碰、更新得多快。

选主干网络，我倾向两个：ResNet-18和ResNet-50。样本量小、机器普通就用18，速度快、内存占用低，精度对小数据集足够；样本量过万且追求更高精度，再上50。加载预训练网络在Matlab里是一行命令，首次会联网把权重下载到本机缓存，离线环境记得提前准备好权重文件。

要清楚ResNet类网络的末端结构。以常见版本为例，末端三层是全局池化、全连接层和分类层。全局池化是特征出口，把空间信息压成一个固定维度的向量；全连接层负责把特征映射到N类得分；分类层负责计算交叉熵损失。工程里最常见的做法，是把全连接层替换成自己的尺寸，给新层一个较大的学习率，backbone保持很小的学习率或直接冻结。这是最短路径，也是后面第4章展开的内容。

3. 把照片整理成能训练的数据集：目录结构、拆分与增强

数据永远是副作用最大的一环。人脸识别训练集不是把照片堆在一起就完事，目录结构、划分方式和增强策略合在一起，提前决定了模型能学到什么。这一章把数据从磁盘到内存的完整过程走一遍。

3.1 目录结构：让文件夹自动成为标签

最省事的打标签方式是目录结构。在dataset/train下面为每个身份建一个文件夹，文件夹名就是标签。imageDatastore读取时开启IncludeSubfolders和foldernames标签源，标签自动变成categorical类型，直接作为分类任务的y。

dataset/ ├── train/ │ ├── person_01/ │ │ ├── person_01_day01_front.jpg │ │ ├── person_01_day02_side.jpg │ ├── person_02/ │ └── person_03/ └── val/ ├── person_01/ └── person_02/

文件名本身不重要，但建议带上采集日期或角度标识。这不是格式要求，而是为了后面排查数据泄漏和脏数据时能直接溯源。对比之下，不推荐把所有人照片全部堆在一个目录，再手工维护一个标签表格。那样第一眼方便，后面每次增删样本都要同步改表格，很容易出现“图在、标签没”或反过来。

imageDatastore支持jpg/png/bmp等常见格式。同一批训练里不要混入已经做过拼接、加过水印、带大面积遮挡的图。这类困难样本可以留到验证阶段当压力测试，但别先混进训练集，否则模型会花大量容量去拟合异常模式。

3.2 拆分训练集与验证集：比例好设，批次难分

直接用splitEachLabel做最常见的8比2拆分，代码非常短：

imds = imageDatastore('dataset/train', ... 'IncludeSubfolders', true, ... 'LabelSource', 'foldernames'); countEachLabel(imds) % 先看每个身份的样本量 imds = shuffle(imds); [imdsTrain, imdsVal] = splitEachLabel(imds, 0.8, 'randomized');

splitEachLabel按类别比例分配样本，randomized表示先随机打乱再切。0.8代表每个身份80%进训练、20%进验证。注意验证集每个身份至少留一张，身份太少时这个比例可能切出空集，所以先把countEachLabel的统计表打出来看一眼。

最常翻车的是连续帧场景。如果某段视频按帧抽图，同一时间抽出的几十张几乎一模一样，随机拆分时很可能同时出现在训练集和验证集。训练时模型已经见过几乎相同的脸，验证分数当然虚高，一换场景就现原形。

提示：验证集最可靠的做法是“时间隔离”而不是“随机隔离”。让训练照片和验证照片采集于不同日期或不同环境，指标才有参考价值。

如果不想重新组织目录，退一步的做法是按文件编号排序，取前80%做训练、后20%做验证，至少避免同批次照片被随机打散。这是我处理临时数据时经常采用的妥协方案。

3.3 增强与归一化：增强只补多样性，不补质量

augmentedImageDatastore把resize和增强放在一起做，训练集用增强，验证集只做resize：

inputSize = [224 224 3]; augmenter = imageDataAugmenter(... 'RandRotation', [-15 15], ... % 角度扰动 'RandXScale', [0.9 1.1], ... % 水平方向缩放 'RandYScale', [0.9 1.1], ... % 垂直方向缩放 'RandXTranslation', [-10 10], ... % 水平平移 'RandYTranslation', [-10 10], ... % 垂直平移 'FillValue', 128); % 边界填充中性灰 auimdsTrain = augmentedImageDatastore(inputSize, imdsTrain, ... 'DataAugmentation', augmenter); auimdsVal = augmentedImageDatastore(inputSize, imdsVal); % 无增强

增强不是越狠越好。人脸是有结构约束的物体，旋转超过30度、缩放超过1.2倍，会产生非人脸形变，模型学到的东西偏离真实场景。人脸识别里常见的做法是采用温和的参数范围，让模型看到更多的“偏移但仍然是同一个人”的样本。

在放大规模训练之前，我习惯先取2到3个身份、每个身份十几张图跑一遍完整流程，把从数据到损失曲线的链路打通。这个小实验通常十几分钟，能提前暴露层名、维度、文件读取等基础问题，比拿全量数据跑一个通宵再报错要划算得多。

4. 迁移学习训练人脸分类器：换掉ResNet最后一层是最短路径

数据就绪后，接下来是把预训练网络改成自己的分类器。常见做法是换掉ResNet的全连接层，让输出维度等于身份数量。这里的关键在替换哪些层、被替换的层叫什么名、新层学习率怎么设，以及要不要冻结backbone。

4.1 加载预训练网络：用ResNet-18还是ResNet-50

在Matlab里加载预训练ResNet-18很简单：

net = resnet18; analyzeNetwork(net)

analyzeNetwork会打开网络结构图，界面虽然偏大，但值得看一次。你不需要理解每个残差块，只记住末端层的结构：全局池化层是特征层，后面的全连接层负责分类，最后是分类层。后面要处理的就是这几个层。

首次加载时，Matlab会联网把权重下载到本机的预训练目录，之后离线可用。内存紧张时优先用resnet18而不是resnet50，前者的占用和训练速度优势明显，在小数据集上的精度差距并不大。如果训练过程中频繁出现内存问题，先查一下当前加载的是不是50。

4.2 替换最后一层：让输出维度等于身份数

替换层是迁移学习里最核心的一步。先取出层图，再根据身份数重建全连接层和分类层：

lgraph = layerGraph(net); numClasses = numel(categories(imdsTrain.Labels)); % 身份类别数 newFc = fullyConnectedLayer(numClasses, ... 'Name', 'fc_person', ... 'WeightLearnRateFactor', 10, ... % 新层随机初始化，学习率放大10倍 'BiasLearnRateFactor', 10); newClf = classificationLayer('Name', 'class_person'); lgraph = replaceLayer(lgraph, 'fc1000', newFc); lgraph = replaceLayer(lgraph, 'ClassificationLayer_fc1000', newClf); analyzeNetwork(lgraph)

全连接层的输出维度必须等于已知身份数。WeightLearnRateFactor设为10，是因为新层是随机初值，如果和backbone用同一个学习率，几百个迭代内很难跑到和预训练权重匹配的尺度。这个因子把新层的学习率放大，训练初期快速就位；backbone保持默认学习率或冻结，预训练特征不会被破坏。

层名以最常见的预训练网络版本为准。不同Matlab版本或不同权重格式下，最后分类层可能不叫ClassificationLayer_fc1000。写替换代码前，先用lgraph.Layers查看末端实际层名，这一步能避免一大半报错。

4.3 冻结策略：什么时候冻结，什么时候整体微调

冻结backbone有三种常见做法，按数据量从小到大排列。

第一种是全部解冻，backbone用很小的学习率整体微调。适合数据量中等、希望特征做一点适应调整时。第二种是冻结backbone只更新新加的全连接层，把backbone各层的LearnRateFactor统一设为0：

for k = 1:numel(lgraph.Layers) layerName = lgraph.Layers(k).Name; if isprop(lgraph.Layers(k), 'WeightLearnRateFactor') lgraph = setLearnRateFactor(lgraph, layerName, 0); end end

冻结后特征提取部分不更新，训练时间缩短，也不容易过拟合。人脸识别的预训练特征已经足够强，样本少于几千张时，只做新的分类头训练通常就够用。第三种是先冻结训练几个epoch，再解冻微调：第一段跑出可用的分类头，第二段用更小学习率让backbone适应任务。效果最好，代价是要分两段盯训练曲线。

4.4 训练参数与早停：让训练过程可控而不是玄学

训练选项直接影响收敛质量，我常用的迁移学习参数组合如下：

options = trainingOptions('sgdm', ... 'InitialLearnRate', 1e-4, ... % 迁移学习保守值 'MiniBatchSize', 16, ... % CPU建议8~16，GPU可到32 'MaxEpochs', 20, ... 'Shuffle', 'every-epoch', ... 'ValidationData', auimdsVal, ... 'ValidationFrequency', 20, ... % 每20个迭代评估一次 'Plots', 'training-progress', ... 'OutputFcn', @(info)earlyStop(info)); net = trainNetwork(auimdsTrain, lgraph, options);

InitialLearnRate取1e-4是迁移学习的保守起点。1e-3偏激进，如果验证损失在头几个epoch就开始震荡，说明学习率大了。MiniBatchSize在CPU上建议8到16，GPU上16到32。ValidationFrequency按迭代数生效，20表示每20个迭代在验证集上评估一次。

配合早停函数，可以避免训练进入平台期后继续空跑浪费时间：

function stop = earlyStop(info) persistent bestAcc cnt; if isempty(cnt) || info.State == "start" bestAcc = 0; cnt = 0; end stop = false; if info.State == "iteration" && ... isfield(info, 'ValidationAccuracy') && ... ~isempty(info.ValidationAccuracy) acc = info.ValidationAccuracy(end); if acc >= bestAcc bestAcc = acc; cnt = 0; else cnt = cnt + 1; stop = cnt >= 3; % 连续三次未刷新纪录即停止 end end if info.State == "done" bestAcc = []; cnt = []; end end

OutputFcn在每个迭代后被调用，函数返回true时训练中止。注意一个细节：早停返回的网络不一定是验证集最优的那一版。严谨的做法是在回调里把验证准确率最高的网络快照单独保存，或者记录对应epoch后重新训练到那一轮。数据量小时差异不大，正式交付前值得处理。

训练必须可见。把Plots开成training-progress，随时看损失曲线走势；远程执行或长时间训练时再关掉，避免图形窗口占用资源。许多网络问题只能靠曲线走向来判断，黑匣子式训练很难排查。

5. 人脸识别训练避坑：过拟合、脏数据、类别失衡与资源耗尽

训练跑通只是第一步，真正的麻烦在评估阶段。数据、验证方式、资源限制三方面的问题，会让模型在指标上很好看、用起来却处处翻车。下面几条按踩坑频率排序，遇到问题时也建议按这个顺序排查。

5.1 训练集准确率飘高但验证集掉队：先查数据泄漏

现象：训练准确率很快到95%以上，验证集稳定在70%上下。第一反应是调学习率或改网络结构，但大多数情况问题出在数据划分。原因：连续帧按比例随机切分，同一个人的相似照片同时进入训练集和验证集，验证指标虚高。另一个常见来源是增强位置放错：训练用了增强datastore，验证也误用了同一个增强datastore。

解决：验证集只做resize不做增强；按采集日期整体切分而不是随机切。把两个集的文件路径并排对比，如果同一个文件夹下的同一批编号在两边大量出现，基本就是数据泄漏。任何基于同一段录像切出来的训练集和验证集，指标都没有说服力。

5.2 换个光线和镜头就翻车：数据多样性比调参更重要

现象：训练的模型在顺光实验室环境里识别率很高，一旦换到走廊、靠窗或夜景环境，识别率明显下降。原因：训练样本镜头单一、光照单一，模型把亮度、白平衡、背景这些环境信息当成了身份特征。增强里只加了旋转和缩放，没有覆盖光照差异。

解决：训练时加入不同时段的照片，注册特征库时每个身份至少保留两个光照条件下的样本。算法层面，对人脸做对齐后再输入网络，也能减少亮度干扰。但根本做法是让训练数据覆盖实际部署环境，增强只能补多样性，补不了缺失的环境维度。

5.3 类别不均衡：样本最少的那个身份总是认错

现象：20个身份里有两个身份只有5张照片，其他身份有100张，训练后少数类全被分错。原因：softmax分类目标受先验影响，多数类的梯度占主导，少数类的决策边界被挤压。

解决：简单可靠的做法是把少数类复制补齐到接近多数类水平：

imds = imageDatastore('dataset/train', ... 'IncludeSubfolders', true, ... 'LabelSource', 'foldernames'); tbl = countEachLabel(imds); target = max(tbl.Count); % 以最多类为基准 minority = tbl.Label(tbl.Count < target); for i = 1:numel(minority) files = imds.Files(imds.Labels == minority(i)); n = numel(files); for k = 1:(target - n) src = files{randi(n)}; [p, name, ext] = fileparts(src); copyfile(src, fullfile(p, [name '_dup' num2str(k) ext])); end end

补完之后必须重新构造imageDatastore。旧的imds在创建时已经缓存了文件列表，原地复制文件继续训练，新文件不会被读到，这是最容易忽视的一步。复制出来的样本本质是同一张图的重复，依赖增强产生差异，所以复制倍数不要超过多数类的样本量太多，否则少数类反而会过拟合。

5.4 训练中断与内存耗尽：从Out of Memory到意外退出

现象：训练中途报内存错误，或者CPU训练跑了一个小时还在第一个epoch。原因：MiniBatchSize太大、输入图像分辨率远高于网络要求的224、验证集也做了复杂增强。CPU训练时验证频率太高会拖慢整体速度。

解决：把MiniBatchSize从32调到16或8；把augmentedImageDatastore的outputSize设为网络要求的224，不要直接用原图尺寸；ValidationFrequency从10提高到50；远程训练时把Plots改成none，用训练日志曲线判断效果。还不行就换成resnet18而不是resnet50。

6. 封装人脸识别Demo：用特征距离拒绝陌生人并做增量注册

训练收敛之后，模型已经能对已知身份分类，但要交付成可用的识别人脸Demo，还差最后一步：面对训练名单之外的人，要说出“不认识”。直接分类做不到这一点，softmax会把任何输入强行归到概率最高的已知身份上。把模型从分类模式切到验证模式，就能补上这个短板。

6.1 用pool5特征向量替代分类得分，加一层余弦距离

人脸识别的常用做法是取网络特征层输出做身份比对：

featureLayer = 'pool5'; % ResNet-18的全局池化特征层 % 注册库：为每个已知身份提取特征 galleryFeat = activations(net, auimdsGallery, featureLayer, 'OutputAs', 'rows'); galleryFeat = normalize(galleryFeat, 2); % 待测图：单张图提取特征 im = imread('test.jpg'); testFeat = activations(net, im, featureLayer, 'OutputAs', 'rows'); testFeat = normalize(testFeat, 2); sim = testFeat * galleryFeat'; [bestSim, idx] = max(sim); if bestSim < threshold label = 'unknown'; else label = galleryLabels(idx); end

ResNet-18的pool5把整张脸压缩成512维向量。注册库里的每人照片提取特征后得到galleryFeat矩阵；待测图特征与它做内积，归一化后等价于余弦相似度，值越接近1越像同一个人。相似度低于阈值判为未知，否则取最相似身份作为结果。

阈值怎么定？把验证集分成两类计算：同类相似度分布和异类相似度分布，取两个分布的交叠点附近。常用范围在0.5到0.8之间，数据越规整越靠高值。注册库在提取特征时要同步保存galleryLabels，否则相似度最高的身份无法对应人名。

6.2 增量注册：新人员不需要重训整个网络

这套结构带来一个实用能力：新增人员不需要重训网络。新成员拍几张正面照，走一遍activations把特征追加进galleryFeat，再把标签追加进galleryLabels即可。只有当误识明显增多、或新人与现有人员长相接近时，才需要重新训练分类头。

我建议把验证拆成三组数据：注册集只用于建库，校准集用于选阈值，测试集必须是训练之外另采集的照片。三组数据分开后，模型的真实水平才暴露出来。模拟项目X曾有段时间指标很漂亮，交付前发现校准阶段漏了暗光样本，现场光线一暗误识率立刻上升。从那以后我习惯把采集环境条件写进验证记录，而不是只看“准确率98%”这个数字。数据覆盖程度一般比网络结构更能决定人脸识别能不能用，希望帮到你。

本文还有配套的精品资源，点击获取