Python声纹识别实战：MFCC与GMM-UBM完整链路

简介：面向课程设计场景的说话人识别（声纹识别）Python项目源码包，适合正在完成相关课程作业、毕业设计或希望快速上手声纹识别算法的学生与开发者，也适合想通过完整示例理解工程实现细节的初学者。项目为个人大作业成果，评审得分98分，代码经过严格调试，能够直接运行，可有效降低从零搭建算法流程的入门门槛。压缩包为zip格式，整体约761KB，轻量易下载，便于快速部署到本地Python环境。包内源码围绕说话人识别任务展开，可作为理解特征处理、模型训练与身份判别的实际参考，也能在此基础上调整参数、扩充数据，用于算法对比或二次开发。目前已有326人学习下载，其实用性与可靠度已获得初步验证，尤其适合有明确交付节点、需要可运行范例的同学作为课程设计参考。 把这份Python课程设计源码拆开，最有价值的不是最后的98分评审结果，而是它把声纹识别从音频文件到判决分数的链路完整串了起来。说话人识别（Voiceprint Recognition）解决的是“谁在说话”，而不是“说了什么”；相比人脸识别，它的数据采集成本低、可以远程无感验证，但受信道和噪声影响更大。这套源码从MFCC特征提取开始，用GMM给每个说话人建声纹模型，再用对数似然比做判决，整条路线是业界经典且可解释的baseline。适合正在做语音相关课程设计、需要快速复现一个可演示系统的同学，也适合把入门代码往生产方向重构的工程师参考。

2. 从波形到39维MFCC：声纹特征的前处理细节

刚接触声纹识别时，最直接的问题是模型输入到底是什么。原始音频不能直接扔进GMM，因为16kHz采样率下一秒语音就是16000维，而且相邻采样点之间高度相关。经过分帧、加窗和梅尔滤波压缩后，常规方案取13维静态倒谱系数，再拼接一阶和二阶差分，最后得到39维每帧特征。这样既保留说话人的动态发音信息，又把维度压到GMM能够建模的范围。

2.1 读取音频时先统一采样率和声道

写代码之前有一个容易被忽略的前提：课程设计里的wav可能来自录制工具，也可能来自开源语音库，采样率可能是8k、16k、44.1k，声道可能是单通道也可能是双通道。如果不统一，提取出的MFCC在不同文件上根本没有可比性。常见做法是全部降到16kHz、单声道。

import numpy as np import soundfile as sf def read_audio_to_mono(path, target_sr=16000): # 读取任意常见格式音频，统一为16k单声道float32 data, sr = sf.read(path, dtype='float32') if len(data.shape) > 1: # 多声道取平均，避免左右声道信息干扰 data = data.mean(axis=1) if sr != target_sr: # 线性插值重采样，适合快速测试；正式场景建议用librosa.resample old_len = data.shape[0] new_len = int(old_len * target_sr / sr) x_old = np.arange(old_len) x_new = np.linspace(0, old_len - 1, new_len) data = np.interp(x_new, x_old, data).astype('float32') sr = target_sr return data, sr

这个函数的关键参数是target_sr=16000。语音的主要能量集中在300Hz到3400Hz，16k采样率已经可以覆盖8kHz以内的频谱，对于说话人识别足够。dtype='float32'可以避免后续GMM计算时出现不必要的精度开销，同时内存占用减半。

2.2 用短时能量切除头尾静音

模型训练时最需要排掉的是静音帧。MFCC在静音段体现的是环境底噪，不同录音环境的底噪差异会把声纹模型带偏；在打分阶段，静音帧也会把平均对数似然拉低，导致同一个人的录音有时能过阈值、有时又被拒绝。因此先做一次粗粒度端点检测是划算的。

import librosa def trim_speech(signal, sr, top_db=25): # 按相对最大能量的dB阈值删除头尾静音 intervals = librosa.effects.split(signal, top_db=top_db) if len(intervals) == 0: return signal # 把所有保留片段拼起来，中间短停顿会消失，声纹识别场景影响不大 return np.concatenate([signal[s:e] for s, e in intervals])

top_db=25表示以整段音频的最大RMS为基准，低于该基准25dB的片段视为静音。安静办公室环境录制的语音用25一般没问题；如果底噪较大，建议提高到30，避免把语音尾音切掉。

2.3 用python_speech_features提取MFCC并拼接差分

MFCC本身只描述当前帧的谱包络，说话人的韵律变化、音调升降需要靠差分特征来补充。课程设计里最常见的库是python_speech_features，接口清晰，而且直接输出需要的静态系数。

from python_speech_features import mfcc, delta def extract_mfcc_39(path, target_sr=16000): # 完整特征提取入口：读取 -> 去静音 -> 39维MFCC signal, sr = read_audio_to_mono(path, target_sr) signal = trim_speech(signal, sr) feat = mfcc( signal, samplerate=sr, winlen=0.025, # 帧长25ms winstep=0.01, # 帧移10ms numcep=13, # 静态系数13维 nfilt=26, # 梅尔滤波器组个数 nfft=512, # FFT长度 preemph=0.97 # 预加重系数，提升高频 ) # delta(x, N) 在相邻N帧窗口内做线性回归，得到一阶动态系数 feat_d1 = delta(feat, 2) # 对一阶差分再做一次delta，得到描述加速度的二阶差分 feat_d2 = delta(feat_d1, 2) feat_39 = np.hstack((feat, feat_d1, feat_d2)) # 倒谱均值减去：消除同一麦克风带来的加性信道偏移 feat_39 = feat_39 - feat_39.mean(axis=0, keepdims=True) return feat_39

preemph=0.97对应差分方程y[n]=x[n]-0.97*x[n-1]，作用是提升高频分量，让齿音、塞音这些包含说话人个性信息的成分不被低频掩盖。nfilt=26是梅尔尺度下的三角滤波器数量，少于20会丢失频谱细节，多于40在短时帧上容易引入过多方差。最后做均值减除，是因为同一个人用不同声卡录音时，倒谱会出现一个接近常量的偏移，去掉每一维的均值能明显改善跨设备场景下同一个说话人得分的一致性。

3. 从特征到声纹：GMM-UBM建模与对数似然比打分

特征只是中间物，真正区分说话人的是声学特征在高维空间里的分布形态。GMM的逻辑是：把每个说话人的特征向量看作由若干个高斯分布叠加生成的观察样本，通过最大化似然估计得到每个高斯成分的均值、协方差和权重。任意连续分布都能用足够多的高斯分量逼近，因此GMM在数据量不大时比单高斯更灵活，又比深度网络更容易解释训练过程。

3.1 为什么选择GMM做课程设计的基座

课程设计场景通常每人只有20到60秒注册语音，如果用神经网络提取embedding，数据量很难支持训练。GMM的每个高斯成分可以理解为“音素-声道”的联合共振模式，16个分量基本能覆盖一个人在不同元音、辅音下的发声状态。这里不能只看分量数量，还要看协方差类型。我一般把不同配置列成一张表再选：

diag表示每个高斯分量只建模39维各自独立的方差，不计算维间协方差，参数数量要比full少很多，小样本下更可靠。纯粹用GMM拟合目标说话人，在20秒语音上也能跑，但更稳妥的做法是先训练一个UBM作为背景模型，再让UBM参与对数似然比打分。下面是实际可运行的训练代码。

from sklearn.mixture import GaussianMixture import numpy as np def train_ubm(background_feats, n_components=32, seed=42): # background_feats: 所有背景语音拼成的(N, 39)数组 ubm = GaussianMixture( n_components=n_components, covariance_type='diag', reg_covar=1e-4, # 防止方差为0导致log(0) max_iter=300, random_state=seed ) ubm.fit(background_feats) return ubm def train_speaker_gmm(speaker_feats, n_components=16, seed=42): # 为目标说话人训练专属GMM gmm = GaussianMixture( n_components=n_components, covariance_type='diag', reg_covar=1e-4, max_iter=200, random_state=seed ) gmm.fit(speaker_feats) return gmm

reg_covar是最容易被忽略的参数。EM迭代时如果某帧特征在某一维上方差极小，协方差矩阵会出现奇异，训练直接崩溃。reg_covar=1e-4相当于给对角协方差加了一个下界约束，代价是压缩一部分特征方差，但对声纹识别影响很有限。random_state=42固定下来，是为了让多次训练结果可复现，答辩时如果每次阈值都不一样，很大概率就是没加这个参数。

3.2 用对数似然比替代硬匹配

拿到模型后，不能只看测试语音在目标GMM下的绝对似然值，因为不同句子语音内容不同、录音距离不同，绝对似然值波动非常大。更可靠的判决方式是计算目标模型与UBM的差值，也就是对数似然比LLR。UBM是所有说话人共享的背景分布，做差后可以约掉部分语音内容和信道带来的共因。

def compute_llr(test_feats, target_gmm, ubm): # score()返回平均对数似然，越大代表越可能是目标说话人 ll_target = target_gmm.score(test_feats) ll_ubm = ubm.score(test_feats) return float(ll_target - ll_ubm)

如果llr > threshold判定为本人，否则判定为非本人。这里的threshold就是第4章要校准的量，初始值可以在0附近取，因为LLR本身是相对量。若发现False Reject过高就调低阈值，False Accept过高就调高阈值。计算时使用平均对数似然而不是累加，是为了让10秒测试语音和5秒测试语音的得分量纲一致。

3.3 批量注册与识别流程封装

工程上不会每次识别都重新训练GMM，而是先把每个人的注册特征和模型保存下来。下面代码把注册和识别合并到一个类里，方便课程设计直接演示。

import os import joblib class VoiceprintSystem: def __init__(self, ubm, model_dir='models'): self.ubm = ubm self.model_dir = model_dir os.makedirs(model_dir, exist_ok=True) def enroll(self, speaker_id, feats, n_components=16): # 注册：为speaker_id训练并保存专属GMM gmm = train_speaker_gmm(feats, n_components) joblib.dump(gmm, f'{self.model_dir}/{speaker_id}.gmm') print(f'enroll {speaker_id}: {feats.shape[0]} frames') def identify(self, feats, threshold=0.0): # 1:N识别：遍历所有已注册模型，返回得分最高的人 best_id, best_llr = None, -np.inf for model_file in os.listdir(self.model_dir): speaker_id = os.path.splitext(model_file)[0] gmm = joblib.load(os.path.join(self.model_dir, model_file)) llr = compute_llr(feats, gmm, self.ubm) if llr > best_llr: best_id, best_llr = speaker_id, llr if best_llr < threshold: return None, best_llr # 低于阈值，判为未注册说话人 return best_id, best_llr

joblib序列化GMM对象比pickle更高效，且天然支持numpy数组。注册时只保存GMM，不保存原始音频，避免隐私冗余。identify中如果最高LLR仍然低于阈值，就返回None，这是声纹识别和普通分类的关键差异：系统要能拒绝不认识的说话人，而不只是做闭集分类。

4. 跑通demo的四个关键调参点和常见坑

拿到一份算法源码，评审分再高也不代表直接就能复现。根据经验，最容易卡住的地方集中在Python环境冲突、音频采样率不一致、阈值没校准、注册语音时长不足这四个点上。下面按处理顺序展开。

4.1 Python环境与依赖安装顺序

先确定Python版本。python_speech_features是较早的库，在Python 3.10以上会输出distutils相关警告，不影响使用。推荐用虚拟环境隔离，避免污染全局解释器。

python -m venv voiceprint_env source voiceprint_env/bin/activate # Windows下使用 voiceprint_env\Scripts\activate pip install --upgrade pip pip install numpy scipy scikit-learn soundfile librosa python_speech_features joblib

这里的安装顺序有讲究：先装numpy scipy，再装scikit-learn，让sklearn能针对当前机器BLAS重新构建；librosa会拉入numba，numba和numpy版本一旦错位，import时会直接报LLVM错误。这是Python环境配置里最常见的坑，遇到时优先调整numba和llvmlite版本，而不是重装Python。

提示：soundfile依赖libsndfile，Windows下有时pip安装后仍找不到动态库，此时用Anaconda的conda install -c conda-forge libsndfile补一次即可。

4.2 阈值校准：FAR与FRR的平衡

LLR阈值是全局参数，不能凭感觉定。一个可快速落地的方法是：收集几个人的开发集语音，一组是目标说话人自己读的句子，一组是冒认者读的句子，分别计算LLR，然后枚举阈值，记录假接受率FAR和假拒绝率FRR。下面是一个简单的阈值搜索函数，数值仅示意，真实值取决于你的注册语音数量和质量。

def select_threshold(target_llrs, impostor_llrs): # target_llrs: 本人在多个测试句上的LLR列表 # impostor_llrs: 非本人在同样测试条件下的LLR列表 candidates = sorted(set(target_llrs + impostor_llrs)) best_t, best_eer = None, float('inf') for t in candidates: # 假接受：冒认者得分高于阈值；假拒绝：本人得分低于阈值 far = sum(l >= t for l in impostor_llrs) / len(impostor_llrs) frr = sum(l < t for l in target_llrs) / len(target_llrs) eer = (far + frr) / 2 if eer < best_eer: best_eer, best_t = eer, t return best_t, best_eer

注意：不能用训练时的注册语音来选阈值，否则会因为过拟合把阈值选得过于乐观。开发集至少要留出3个未见过的句子用于测试。常见阈值范围在±1之间；如果算出的LLR普遍在几十以上，说明打分函数可能用了累加而非平均，需要回看3.2节的score方法。

下表是一个阈值选择的示意：

4.3 注册语音时长与文本内容的影响

GMM的参数估计依赖于足够多的帧数。10秒有效语音约产生900帧，16个分量的GMM勉强可以学出来；低于5秒时，建议把n_components降到8。另外，如果注册时只录了数字串，测试时也尽量让说话人读数字串。因为在纯GMM模型下没有语言模型做内容约束，文本差异会体现为似然度下降，不要把它当成语言无关的声纹embedding用。

4.4 不同设备录音的补偿手段

即使做了倒谱均值减，不同麦克风的位置和频响仍会引入频谱畸变。除了规范注册环境外，一个实用技巧是在提取MFCC前对音频做0.3kHz到3.4kHz的带通滤波，去掉无效低频和宽带噪声。

from scipy.signal import butter, sosfilt def bandpass(signal, sr, low=300, high=3400, order=4): # 语音主要能量带，滤除空调声、屏幕电流噪声 sos = butter(order, [low, high], btype='band', fs=sr, output='sos') return sosfilt(sos, signal)

滤波器阶数不要太高，4阶足够，8阶可能在边界引入振铃。这个滤波要放在端点检测之前，否则安静段的噪声会被放大，反而导致VAD切错位置。

5. 把一个课程设计变成可答辩的声纹验证系统

当单个demo跑通之后，拉开差距的是批量验证和边界情况处理。评审老师通常不看“能跑”，而是看你是否验证了阈值选择、是否处理了未注册说话人。常见做法是写一个离线验证脚本，自动扫描测试集目录，把每个音频的LLR输出成CSV，再统计FAR/FRR。

5.1 批量评估脚本

目录结构可以设计成test_root/真实用户ID/音频文件.wav，遍历后把预测结果和LLR落盘。

import csv import os def batch_evaluate(test_root, system, threshold=0.0): rows = [] for speaker_dir in sorted(os.listdir(test_root)): real_id = speaker_dir wav_dir = os.path.join(test_root, speaker_dir) for wav_name in sorted(os.listdir(wav_dir)): wav_path = os.path.join(wav_dir, wav_name) feats = extract_mfcc_39(wav_path) pred_id, llr = system.identify(feats, threshold=threshold) rows.append([real_id, wav_name, pred_id, f'{llr:.3f}']) with open('llr_results.csv', 'w', newline='') as f: writer = csv.writer(f) writer.writerow(['true_id', 'wav_name', 'pred_id', 'llr']) writer.writerows(rows) return rows

脚本运行后，用pandas读取CSV即可画出DET曲线，也可以直接统计错误接受的具体文件，检查是音频噪声大还是注册语音过短。这里建议把注册语音从测试集里彻底删除，否则LLR会虚高，换一段新录音立刻露馅。

5.2 把GMM替换成embedding的升级路径

课程设计如果还能继续优化，可以把重采样换成torchaudio.functional.resample，保留MFCC前端，把GMM替换为深度网络输出的说话人embedding，再用余弦相似度打分。这样做的收益是跨设备鲁棒性更好，但代价是需要更大的注册数据集和GPU训练时间。如果只是答辩演示，保留GMM-UBM已经足够，更重要的是在系统接口里同时输出top-1和top-5候选，以及对应的LLR，给后续双阈值策略留好扩展位置。

本文还有配套的精品资源，点击获取