MATLAB说话人识别实战：MFCC与GMM-UBM完整工程包解析

简介：说话人识别是语音处理领域的典型应用，这套基于MATLAB的源码包面向计算机、电子信息工程、数学等专业学生，适合课程设计、期末大作业及毕业设计，完整覆盖语音预处理、特征提取、模型训练与识别流程。压缩包共56个文件，主要包含25个M脚本、19个WAV语音样本、10个MAT数据文件与1个FIG界面文件，各类型对应算法、测试语音、特征数据与操作界面，整体仅4.5MB，便于快速下载和本地运行。代码采用参数化编程，注释明细，兼容MATLAB 2014a/2019b/2024b，并附赠可直接运行的案例数据，降低环境搭建门槛。目前已有41人下载学习。借助这套源码包，读者可依次实践端点检测、MFCC特征提取、GMM建模与判决等关键步骤，并利用参数接口调整特征阶数或模型参数，快速构建可演示的说话人识别系统，为项目答辩提供可复现的参考。

1. 说话人识别落地：MATLAB 工程包的实战价值

做说话人识别最怕什么？不是模型训不出来，而是数据准备好了、特征提出来了、模型也跑通了，结果换一套录音环境就翻车。这份“说话人-识别.zip”不是论文复现，而是一份能直接在 MATLAB 里跑通的完整工程包，从音频读取、MFCC 特征提取，到 GMM 模型训练和阈值判定，全都给你码好了。我拆完之后最大的感受是：它把“识别”这件事从黑匣子变成了可调试的流水线，每一步参数都能单独抽出来验证。适合正在做语音方向毕业设计的学生、想快速搭建声纹识别原型的算法工程师，以及需要把识别逻辑嵌入到信号处理链路里的嵌入式开发者。接下来我按“特征怎么提 → 模型怎么训 → 参数怎么调 → 坑在哪”这个顺序，把这份资源的关键实现和踩坑记录拆给你看。

2. 把音频变成特征：MFCC 提取的参数与代码包落地

2.1 为什么选 MFCC：人耳听觉与倒谱的工程直觉

说话人识别和语音识别最大的区别在于，我们关心的不是“说了什么”，而是“谁在说”。这意味着特征需要更多地反映声道形状和个人发声习惯，而不是语义内容。MFCC（梅尔频率倒谱系数）正是这个场景下的首选特征，它在模拟人耳对频率的非线性感知的同时，通过倒谱变换把声道激励和声道传输特性分离开来。

工程上选 MFCC 还有一个很实际的理由：MATLAB 的 Audio Toolbox 对它支持得非常好。你可以用底层的mfcc()函数手撸，也可以用audioFeatureExtractor一次性把 MFCC、Delta 系数和 Delta-Delta 系数全部提出来。后者在批量处理大量音频文件时优势明显，因为不需要自己在 for 循环里管理特征拼接。

2.2 用 MATLAB 自带函数搭特征管道：audioFeatureExtractor 与手动基底的差异

这份工程包里采用的是audioFeatureExtractor的路线。它比你手动调mfcc()函数多了一层封装，好处是你不需要去记忆返回值的坐标偏移，坏处是你要额外关注OverlapLength这个参数跟帧移之间的关系，否则很容易在拼接特征矩阵时出现维度错位。

% 读取音频，fs 是采样率 [audioIn, fs] = audioread('speaker_001.wav'); % 预加重：补偿高频分量在发声端的衰减 audioIn = filter([1 -0.97], 1, audioIn); % 帧长和帧移：语音信号是短时平稳的，一般取 25ms 帧长、10ms 帧移 frameLen = round(0.025 * fs); frameShift = round(0.010 * fs); % 创建特征提取器：这里同时开启了 MFCC、一阶差分和二阶差分 afe = audioFeatureExtractor('SampleRate', fs, ... 'WindowLength', frameLen, ... 'OverlapLength', frameLen - frameShift, ... 'MFCC', true, ... 'MFCCDelta', true, ... 'MFCCDeltaDelta', true); % 提取特征，返回的 features 是 (帧数 x 特征维数) 的矩阵 features = extract(afe, audioIn); % 查看特征矩阵尺寸 disp(size(features));

这段代码里最需要注意的是OverlapLength的计算。很多初学者会直接把OverlapLength设成frameShift，这会导致实际帧移变成frameLen - frameShift，最终特征帧数翻了好几倍。正确的是OverlapLength = frameLen - frameShift，也就是让相邻两帧的起点相隔一个帧移的长度。

afe创建时指定的WindowLength和OverlapLength直接影响特征的时间分辨率。如果你想在短语音（比如 1 秒左右的录音）上提取足够多的帧数来做后续统计建模，建议保持 25ms/10ms 的配置不变，这个比值在绝大多数说话人识别任务里都是稳的。

我在实际复现时还会额外做一步：把提取出来的特征做均值归一化。人说话的响度和距离麦克风的远近会直接影响幅度，归一化能在一定程度上消除这种信道干扰。

% 对每一列特征做 z-score 归一化 mu = mean(features); sigma = std(features); features_norm = (features - mu) ./ (sigma + 1e-8);

sigma加上1e-8是防止某列特征在静音段出现零方差时除零报错。这个细节看起来不起眼，但在处理长录音时非常有用，因为录音开头和结尾往往存在静音区，特征值会突然坍缩到某个固定值。

2.3 特征参数对照表：为什么 13 维 MFCC 加动差是黄金配置

MFCC 的维度选择直接关系到模型复杂度和识别精度之间的平衡。标准的配置是 13 维静态 MFCC，加上 13 维 Delta 和 13 维 Delta-Delta，总共 39 维。这个数字不是玄学，而是大量实验验证出来的结果：静态系数描述帧内的频谱形状，Delta 描述帧间的变化趋势，Delta-Delta 描述变化趋势的加速度。

滤波器组数量从 20 到 40 之间改动，对识别率的影响并不显著，但超过 40 之后计算量会明显上升。Delta 窗口长度倒是值得手动调一下，窗口越长，平滑效果越强，但也会抹掉说话人快速变化的发声细节。工程包里默认的 9 帧是一个比较稳妥的中间值，对多数成年人语音都适用。

2.4 批量处理：从单个文件到数据集的特征矩阵拼接

实际的说话人识别实验绝不会只跑一个文件。工程包里提供了一个generate_feature_db.m的脚本，用来遍历文件夹下所有音频，把特征拼接成一个大矩阵供后续训练使用。这里有个容易翻车的点：不同音频的长度不一样，提取出来的帧数也不一样，直接拼接会导致某个说话人的特征数量远大于其他说话人，模型训练时产生偏置。

% 假设每个说话人一个文件夹，每个文件夹下至少有 5 句话 speakerDirs = {'data/spk01', 'data/spk02', 'data/spk03'}; allData = {}; allLabels = {}; for i = 1:length(speakerDirs) files = dir(fullfile(speakerDirs{i}, '*.wav')); for j = 1:length(files) [audioIn, fs] = audioread(fullfile(files(j).folder, files(j).name)); audioIn = filter([1 -0.97], 1, audioIn); features = extract(afe, audioIn); % 只保留中间 80% 的特征帧，掐头去尾避免静音干扰 startIdx = round(size(features, 1) * 0.1); endIdx = round(size(features, 1) * 0.9); features = features(startIdx:endIdx, :); allData{end+1} = features'; % 转置成 特征维数 x 帧数 的格式 allLabels{end+1} = i; end end

这段代码里“掐头去尾”是一个容易被忽略但很关键的步骤。录音前 10% 和后 10% 通常是环境静音或说话人按下录音键瞬间的爆破声，直接参与训练会把模型给带偏。保留中间 80% 相当于做了一次最粗粒度的端点检测，成本几乎为零，但收益非常明显。

3. 用 GMM 给声音“建模”：从 UBM 到说话人适配的实现

3.1 为什么选 GMM-UBM：短语音训练与阈值判定的平衡

特征提取完成之后，下一个问题是模型选型。深度神经网络当然可以做说话人识别，而且效果往往更好，但这份工程包选择的是经典的 GMM-UBM 框架。原因很现实：GMM 在训练数据很少时也能稳住，而且模型是一个概率分布，天然支持“非注册说话人”的拒绝判断。

GMM 的思路是把每个说话人的特征空间用若干个高斯分布去拟合。UBM（Universal Background Model）则是先用一个大规模统计的通用模型来覆盖所有说话人的共性分布，然后针对每个注册说话人做一次 MAP 适配。这样做的好处是，即使某个说话人只有 1 分钟的训练数据，也能基于 UBM 的先验分布“调整”出属于自己的模型，而不是从零开始训练。

如果是用神经网络提取 embedding 然后做余弦比对，那套流程需要大量的训练数据和标注，对于拿到一份 zip 包想要快速跑通的用户来说并不友好。GMM-UBM 的参数可解释性强，出了问题可以直观地看到是哪个高斯分量在拖后腿。

3.2 训练逻辑：UBM 训练、MAP 适配、对数似然打分

工程包里的训练脚本分三步走：第一步用所有说话人的特征拼在一起训练一个 UBM，第二步对每个注册说话人做 MAP 适配得到各自的模型，第三步在测试阶段计算测试音频的帧级对数似然总和，再除以帧数得到平均对数似然，跟阈值比较得出接受或拒绝的结论。

% 第一步：训练 UBM，以 16 个高斯分量为例 numComponents = 16; ubm = fitgmdist(cell2mat(allData)', numComponents, ... 'RegularizationValue', 1e-4, ... 'MaxIterations', 200); % 第二步：针对说话人 1 的特征做 MAP 适配 spk1Data = allData{1}; % 特征维数 x 帧数 [~, post] = posterior(ubm, spk1Data'); % 计算当前说话人各高斯分量的加权均值和协方差 respSum = sum(post, 1); spkWeights = respSum / sum(respSum); spkMeans = (post' * spk1Data') ./ respSum'; % 适配后的模型 = 0.9 * 说话人统计量 + 0.1 * UBM 参数 adaptedMeans = 0.9 * spkMeans + 0.1 * ubm.mu;

代码里这个 0.9 和 0.1 的配比是 MAP 适配中的相关因子。相关因子越大，说话人模型越“只认”当前说话人的数据，但也更容易过拟合。通常 0.9 是一个比较保守的起点，如果你的训练数据足够充分，可以调到 0.95 甚至 0.98；反之如果数据很少，建议回到 0.7 左右。

RegularizationValue参数是协方差矩阵的抖动项。特征矩阵里如果存在某两列高度相关，协方差矩阵在求逆时会变成奇异矩阵，fitgmdist直接报错。加上1e-4的抖动项相当于在协方差矩阵的对角线上加了一个小常数，保证数值稳定性。

打分阶段的实现同样在工程包里：

% 第三步：用测试音频计算平均对数似然 testFeatures = extract(afe, testAudio); testFeatures = testFeatures(round(size(testFeatures, 1) * 0.1):round(size(testFeatures, 1) * 0.9), :); % 计算当前测试音频对每个注册模型的平均对数似然 logLikelihoods = zeros(numberOfSpeakers, 1); for i = 1:numberOfSpeakers logLikelihoods(i) = mean(log(pdf(speakerModels{i}, testFeatures))); end % 识别结果取最大对数似然对应的说话人 [~, identifiedSpeaker] = max(logLikelihoods);

注意这里用的是mean(log(pdf(...)))而不是sum(log(pdf(...)))。如果用 sum，音频越长帧数越多，累加的似然值天然就大，长短不同的测试音频之间就没法公平比较了。用 mean 相当于做了帧数归一化，不同长度的语音得分处在同一个量级上，阈值设定才有意义。

3.3 阈值判定的工程细节：同一人不同录音的得分波动

GMM 识别给出的是“哪个说话人得分最高”的 argmax 结论，但实际业务场景往往需要“这个声音是不是张三”的判定。这就要引入阈值。工程包里专门留了一个compute_threshold.m脚本，用来统计注册说话人自身测试得分的均值和标准差，然后设定阈值为均值 - 2 * 标准差。

这个经验公式同样不是拍脑袋写死的。说话人自己的录音在对应模型上得分最高，但不同录音之间也会有波动，波动范围通常在 2 倍标准差以内。把阈值卡在均值下方两个标准差的位置，能在不误伤正样本的前提下保留足够的拒绝空间。如果效果不理想，你也可以把系数从 2 改成 1.5 或 3，这就是一个权衡误拒率和误纳率的旋钮。

4. 避坑说明：参数设置、人数变化与数据划分的四个真实教训

4.1 坑一：audioFeatureExtractor的OverlapLength设置错误导致特征帧数爆炸

现象：用工程包替换自己采集的样本后，发现提取出来的特征矩阵行数比预期多了几倍，训练 GMM 时内存直接打满。

原因：把OverlapLength设成了frameShift。实际上audioFeatureExtractor内部计算帧数的公式用的是floor((len - overlap) / (window - overlap))，overlap 越大帧数越多。如果你设的是帧移 10ms，overlap 和 frameLen 相减之后帧数就会被拉高好几倍。

解决：严格按照OverlapLength = frameLen - frameShift来设置，或者干脆直接使用audioFeatureExtractor默认的重叠设置，手动覆写之前先算清楚。

4.2 坑二：训练集说话人过少，模型在测试集上表现出现玄学波动

现象：只用 3 个说话人训练 UBM，然后对第 4 个说话人做测试，得分异常高，前 3 个说话人全部被误判。

原因：UBM 的本职是描述“所有人”共有的声学特征。如果训练 UBM 的数据只来自 3 个人，UBM 实际上就退化成了这 3 个人的小模型，第 4 个人进来之后，他的特征跟 UBM 的距离很远，适配出来的说话人模型在打分时反而给出极大似然值。

解决：UBM 的训练数据尽量覆盖至少 10 个说话人，每人 10 句话以上。如果手头没有这么多真实语音，可以用数据增强手段扩展现有数据，比如给音频加随机高斯白噪声、做小幅度变调。

4.3 坑三：手动猜阈值导致误拒率居高不下

现象：把阈值设成一个认为合理的固定值，比如 100，测试时发现一半的注册说话人都会被拒。

原因：对数似然的量级跟音频长度、MFCC 系数的具体取值都有关系，不同人提取出的对数似然自然在数值范围上差别很大。固定阈值完全没有自适应能力。

解决：使用 EER 等错误率来确定阈值。画出正负样本得分分布的曲线，找到两条曲线交点对应的位置作为阈值。这比拍脑袋定数值靠谱得多，工程包里的compute_threshold.m实现了这一逻辑，直接跑就行。

4.4 坑四：静音段未处理导致特征污染

现象：说话人识别模型在实验室环境跑得好好的，换到嘈杂环境录音后准确率断崖式下降。

原因：没有做 VAD 语音活动检测。环境噪声和静音段的频谱特征跟语音完全不同，它们进入 MFCC 特征矩阵后，相当于把一堆无规律的帧混进了训练和测试数据。

解决：除了前文提到的“中间 80%”裁剪，更靠谱的做法是计算每一帧的短时能量或过零率，把能量过低的帧直接剔除。如果预算允许，也可以调用detectSpeech函数，返回的就是有效语音段的索引区间。

5. 识别验证与模型迭代：用测试集算 EER 和混淆矩阵

模型训完不能只看训练集上的得分，那只能证明模型有记忆能力。我习惯的做法是单独预留出 20% 的说话人数据完全不参与训练，只用来算验证指标。验证的核心指标有两个：EER（等错误率）和混淆矩阵。

EER 是误拒率（FRR）和误纳率（FAR）相等时的错误率，数值越低说明模型对“谁是谁”的区分能力越强。工程包里有个calculate_eer.m脚本，它会遍历所有可能的阈值，把每个阈值下的 FRR 和 FAR 算出来，找到使得两者最接近的那个点。

% 计算 EER（简化版） thresholds = linspace(min(scores_all), max(scores_all), 500); for i = 1:length(thresholds) frr(i) = sum(genuine_scores < thresholds(i)) / length(genuine_scores); far(i) = sum(imposter_scores >= thresholds(i)) / length(imposter_scores); end [~, idx] = min(abs(frr - far)); eer_threshold = thresholds(idx); eer = mean([frr(idx), far(idx)]);

混淆矩阵则用来观察具体的错误模式。是在说话人 A 和说话人 B 之间互相认错，还是说话人 C 被整体误拒？这两种错误对应的调参方向完全不同。A/B 互认说明他们的声学特征太接近，需要增加模型分量数或者改用更细粒度的特征；C 被误拒则多半是该说话人训练数据太少，MAP 适配时过度偏移到 UBM 先验上。

每次调完参数，我都会强制走一遍同样的验证流程：先跑 EER 脚本，再打印混淆矩阵，最后回到特征提取那一层检查是否有明显的数据异常。从那以后，我的实验流程稳定了很多，至少再也不会因为静音段残留或者 OverlapLength 设置错误白跑一整晚的训练。

这套流程做下来，你已经不只是把 zip 里的代码跑通了，而是能把里面的每个参数像旋钮一样拧到自己想要的位置。希望帮到你。

本文还有配套的精品资源，点击获取