基于MediaPipe与rPPG的摄像头测谎源码实战：从关键点到情感分类

简介：这是一套基于摄像头输入的智能测谎软件源代码，面向对计算机视觉与情感计算感兴趣的学习者和开发者，借助 MediaPipe 实现面部与手部关键点检测，并结合情感识别技术完成心率监测等分析功能，可用于课堂演示、项目实训或二次开发。资源包共 13 个文件，约 1.55MB，包含 3 个 Python 源码文件、3 张 png 示意图、1 个 yml 环境配置、1 个 ini 配置文件以及 README 说明、LICENSE 授权、ico 图标等，覆盖从环境搭建到运行入口的完整结构。已有 130 人学习下载。读者可获得可直接运行的测谎程序源码，支持视频设备、文件与屏幕区域三种输入源，可显示面部和手部关键点、录制带时间戳的 AVI 视频、设置线索持续帧数并启用次要视频设备，同时附带日志查看脚本与 conda、pip 两种依赖安装方式，便于快速复现与排错。

1. 从摄像头到微表情：这套智能测谎源码到底能跑出什么结果

你手头可能正好有个 USB 摄像头，也听说过 MediaPipe 能做面部关键点，但真要把「测谎」这件事落地成一个能跑的程序，中间缺的往往不是算法，而是一套把视频流、关键点、生理信号和情感分类串起来的工程骨架。这套源码解决的就是这个：它用普通摄像头做输入，通过 MediaPipe 提取面部 468 个关键点，再结合远程光电容积脉搏波（rPPG）从额头区域估算心率，最后叠加情感识别模型输出紧张/平静的概率分布。适合两类人：一类是想快速验证「非接触式生理信号提取」可行性的开发者，另一类是需要一个可演示的课程设计或原型系统，但不想从零写视频采集和关键点对齐的人。我拆过不少类似项目，多数卡在摄像头帧率不稳和光照干扰上，这套代码把预处理和滤波部分做得比较完整，省掉了最耗时的调参环节。

2. 拆开看架构：MediaPipe 关键点、rPPG 心率与情感分类怎么串

2.1 为什么选 MediaPipe 而不是 dlib 或 OpenCV 自带检测器

面部关键点检测是整条流水线的地基。常见做法有三种：dlib 的 68 点、OpenCV 的 Haar 级联、以及 MediaPipe 的 Face Mesh。dlib 精度够但推理速度在 CPU 上跑 30fps 视频会掉帧；Haar 级联对侧脸和光照变化太敏感，测谎场景里用户头部微动就会丢点。MediaPipe Face Mesh 输出 468 个三维关键点，自带轻量级 BlazeFace 检测器和注意力网格，在普通笔记本 CPU 上能稳定跑 25 到 30fps，而且关键点索引固定，方便后续取额头、眼角、嘴角这些感兴趣区域。

源码里关键点提取的核心调用大概是这样：

import cv2 import mediapipe as mp mp_face_mesh = mp.solutions.face_mesh face_mesh = mp_face_mesh.FaceMesh( max_num_faces=1, # 测谎场景只处理单张脸，减少误检 refine_landmarks=True, # 开启虹膜关键点，共 478 点 min_detection_confidence=0.5, min_tracking_confidence=0.5 ) cap = cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) while cap.isOpened(): ret, frame = cap.read() if not ret: break rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = face_mesh.process(rgb) if results.multi_face_landmarks: landmarks = results.multi_face_landmarks[0] # 后续取 ROI 做 rPPG 和情感特征

refine_landmarks=True会额外输出虹膜周围 10 个点，对眨眼检测和视线估计有帮助，但会略微增加推理耗时。如果目标机器是低功耗设备，可以关掉这个选项，帧率能回升 3 到 5 帧。min_detection_confidence设 0.5 是平衡值，设太高在暗光下会频繁丢失人脸，设太低会把背景误判成人脸。

2.2 rPPG 心率监测：从额头像素到 BPM 的完整链路

远程心率监测的原理不复杂：皮肤颜色会随血液灌注发生微小周期性变化，这种变化在绿色通道最明显。源码的做法是取额头区域（MediaPipe 索引 10、338、297、332 等点围成的多边形），计算每帧该区域绿色通道均值，得到一条时间序列，再做带通滤波和快速傅里叶变换找主频。

具体步骤拆开：

第一步，定义额头 ROI。MediaPipe 关键点里，额头区域大致由索引 10（眉心上方）、338（左额）、297（右额）以及 109、67 等点围成。源码里用cv2.fillPoly生成掩膜，只保留掩膜内的像素。

第二步，滑动窗口缓存。心率估算需要至少 5 到 10 秒的数据，源码用collections.deque存最近 150 帧（30fps 下约 5 秒）的绿色通道均值。

第三步，信号处理。原始信号包含呼吸和运动伪影，需要先做 0.7Hz 到 4Hz 的带通滤波（对应 42 到 240 BPM），再对滤波后信号做 FFT，取功率谱峰值对应的频率乘以 60 得到 BPM。

import numpy as np from scipy.signal import butter, filtfilt def bandpass_filter(signal, fs=30, low=0.7, high=4.0, order=4): nyq = fs / 2.0 b, a = butter(order, [low/nyq, high/nyq], btype='band') # 信号太短时 filtfilt 会报错，需要判断长度 if len(signal) < 3 * max(len(a), len(b)): return signal return filtfilt(b, a, signal) def estimate_bpm(green_series, fs=30): signal = np.array(green_series) signal = signal - np.mean(signal) # 去直流分量 filtered = bandpass_filter(signal, fs) fft = np.abs(np.fft.rfft(filtered)) freqs = np.fft.rfftfreq(len(filtered), d=1.0/fs) # 只取 0.7 到 4Hz 范围内的峰值 valid = (freqs >= 0.7) & (freqs <= 4.0) if not np.any(valid): return 0 peak_freq = freqs[valid][np.argmax(fft[valid])] return int(peak_freq * 60)

fs参数必须和实际摄像头帧率一致，源码里用cap.get(cv2.CAP_PROP_FPS)动态获取，但有些摄像头返回 0 或 30 不准，我一般会手动用时间戳计算真实帧率。order=4是滤波阶数，阶数越高过渡带越陡，但相位失真也越大，4 阶是常用折中。filtfilt做零相位滤波，避免心率峰值偏移。

2.3 情感识别模块：特征拼接与分类器选择

情感识别部分源码没有用端到端深度学习，而是走传统特征工程路线：从关键点里计算眉毛到眼睛的距离、嘴角上扬角度、眨眼频率，再拼接 rPPG 得到的心率变异性（HRV）特征，送进一个预训练的 SVM 或轻量级 MLP。这样做的好处是模型小、可解释、在 CPU 上实时性有保障。

特征清单大致包括：

分类器加载和推理的代码结构：

import joblib import numpy as np # 假设源码里附带 emotion_svm.pkl clf = joblib.load('emotion_svm.pkl') scaler = joblib.load('feature_scaler.pkl') def predict_emotion(feature_vector): # feature_vector 顺序必须和训练时一致 x = np.array(feature_vector).reshape(1, -1) x = scaler.transform(x) proba = clf.predict_proba(x)[0] # 源码里标签顺序通常是 [平静, 紧张] return {'calm': proba[0], 'nervous': proba[1]}

feature_vector的顺序是坑最多的地方，训练和推理必须严格对齐，否则概率会完全乱掉。源码里用了一个FEATURE_ORDER列表做校验，建议不要改动。

3. 跑起来：环境配置、参数调优与实时可视化

3.1 依赖安装与摄像头兼容性检查

源码依赖不算多，但版本敏感。MediaPipe 在 0.10 之后 API 有变动，源码如果写的是mp.solutions.face_mesh，那 0.9 到 0.10 都能跑。OpenCV 建议用 4.5 以上，低版本对CAP_PROP_FPS支持不好。

pip install mediapipe==0.10.9 pip install opencv-python==4.8.1.78 pip install scipy==1.11.4 pip install scikit-learn==1.3.2 pip install joblib==1.3.2

装完后先跑一个摄像头自检脚本，确认帧率和分辨率：

import cv2 cap = cv2.VideoCapture(0) print('FPS:', cap.get(cv2.CAP_PROP_FPS)) print('W:', cap.get(cv2.CAP_PROP_FRAME_WIDTH)) print('H:', cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) cap.release()

如果 FPS 显示 0，说明驱动没上报，需要在代码里用time.time()手动算帧间隔。分辨率建议设 640x480，太高会拖慢 MediaPipe 推理，太低额头 ROI 像素不够，rPPG 信噪比会崩。

3.2 心率估算的窗口长度与滤波参数怎么定

窗口长度直接决定心率输出的稳定性和延迟。窗口太短（比如 2 秒），FFT 频率分辨率不够，BPM 跳动能到 ±15；窗口太长（比如 15 秒），心率变化跟不上，测谎时用户紧张导致的心率上升会被平滑掉。源码默认 150 帧（30fps 下 5 秒），我实测下来 5 到 7 秒是比较好的平衡点。

带通滤波的低频截止 0.7Hz 对应 42 BPM，覆盖了绝大多数静息心率；高频截止 4Hz 对应 240 BPM，运动后也能测。如果用户心率低于 45，可以把低频降到 0.6Hz。滤波阶数不要超过 6，否则filtfilt在窗口边缘的瞬态响应会污染结果。

还有一个隐藏参数是 ROI 的膨胀系数。源码取额头多边形后做了cv2.dilate，膨胀核大小默认 5x5。膨胀太大会把头发和背景框进来，绿色通道均值被污染；膨胀太小则像素太少，信号噪声大。如果用户刘海比较厚，建议把 ROI 往下移，取眉心到发际线中间的区域。

3.3 实时可视化：把关键点、波形和概率画在同一帧

调试阶段最有用的是把中间结果画出来。源码里有一个draw_debug函数，把面部关键点、额头 ROI 掩膜、绿色通道波形和情感概率条叠在视频帧上。这样一眼就能看出是丢点了、ROI 偏了还是波形饱和了。

def draw_debug(frame, landmarks, roi_mask, green_series, proba): # 画关键点 for lm in landmarks.landmark: h, w = frame.shape[:2] cx, cy = int(lm.x * w), int(lm.y * h) cv2.circle(frame, (cx, cy), 1, (0, 255, 0), -1) # 叠 ROI 掩膜 frame = cv2.addWeighted(frame, 1.0, roi_mask, 0.3, 0) # 画绿色通道波形 if len(green_series) > 10: pts = np.array([[i*2, 100 - (v - min(green_series)) * 50] for i, v in enumerate(green_series)], np.int32) cv2.polylines(frame, [pts], False, (0, 255, 255), 1) # 画概率条 cv2.rectangle(frame, (10, 10), (10 + int(proba['nervous']*200), 30), (0, 0, 255), -1) return frame

波形纵轴做了归一化，不然绿色通道均值的小数点后变化根本看不见。概率条长度映射到 200 像素，方便肉眼判断趋势。这个调试视图在最终演示时可以关掉，但开发阶段强烈建议保留。

4. 避坑与排查：摄像头测谎最容易翻车的五个地方

4.1 现象：心率输出一直是 0 或 72 不变

原因通常是 ROI 掩膜全黑，或者绿色通道序列长度不够。MediaPipe 在侧脸或遮挡时会返回空multi_face_landmarks，源码里如果没做空判断，后续 ROI 计算会拿到空数组，均值变成 NaN，滤波后 FFT 找不到峰值就返回 0。另一个可能是摄像头自动曝光把绿色通道压死了，信号方差极小。

解决：在 ROI 计算前加if landmarks is None: continue；打印绿色通道序列的np.std()，如果小于 0.5 说明信号太弱，需要关掉摄像头自动曝光（cap.set(cv2.CAP_PROP_AUTO_EXPOSURE, 0.25)）或增加 ROI 面积。

4.2 现象：情感概率在 0.5 附近来回跳，没有区分度

特征没做归一化，或者训练集和推理集的特征分布不一致。源码里虽然带了feature_scaler.pkl，但如果用户摄像头帧率不是 30fps，眨眼频率和 HRV 特征会偏移，导致 scaler 变换后落在训练集没覆盖的区域。

解决：确认实际帧率，如果不是 30fps，要么在代码里做时间重采样，要么重新用当前帧率采集一段数据微调 scaler 的均值方差。另外检查FEATURE_ORDER是否和训练时一致，顺序错一位概率就完全反了。

4.3 现象：MediaPipe 报错 “No module named ‘mediapipe.python._framework_bindings’”

这是版本冲突的典型症状，通常是因为之前装过旧版 mediapipe 没卸干净，或者 protobuf 版本不兼容。MediaPipe 0.10 需要 protobuf 3.20 以上，但有些环境里 tensorflow 会把 protobuf 锁在 3.19。

解决：先pip uninstall mediapipe protobuf -y，再重新按顺序装protobuf>=3.20和mediapipe==0.10.9。如果还不行，建一个干净的虚拟环境，别在 base 环境里折腾。

4.4 现象：视频画面延迟越来越大，最后卡死

cap.read()是阻塞调用，如果主循环里做了 FFT 或 SVM 推理，处理时间超过帧间隔，缓冲区会堆积。OpenCV 默认缓冲 4 到 5 帧，延迟会累积。

解决：把cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)加上，只保留最新帧。另外把心率估算和情感推理放到独立线程，主线程只做采集和绘制。源码里如果没做多线程，可以自己加一个queue.Queue(maxsize=1)做帧传递。

4.5 现象：换一台电脑后关键点索引对不上，额头 ROI 跑到下巴

MediaPipe 的 468 点索引是固定的，但refine_landmarks=True时会变成 478 点，虹膜点插在末尾。如果代码里硬编码了 468 点时的索引，开启 refine 后某些索引会偏移。源码里额头 ROI 用的索引 10、338、297 在两种模式下位置不变，但如果你自己加了其他点，就要注意。

解决：统一用refine_landmarks=False跑一遍确认索引，或者用mp_face_mesh.FACEMESH_FACE_OVAL等官方常量而不是硬编码数字。换电脑后先跑一次关键点可视化，确认 ROI 位置正确再继续。

5. 进阶技巧：用时间窗口投票稳住心率与情感输出

实时系统最怕输出抖动。心率每隔 5 秒跳一次，情感概率每帧都在变，演示时看起来很不靠谱。我一般会加一层时间窗口投票：维护最近 N 次心率估算值，取中位数而不是最新值；情感概率做指数移动平均，平滑系数 0.3 左右。

from collections import deque import numpy as np class StableEstimator: def __init__(self, window=5, alpha=0.3): self.bpm_window = deque(maxlen=window) self.alpha = alpha self.smooth_proba = {'calm': 0.5, 'nervous': 0.5} def update_bpm(self, bpm): if bpm > 0: self.bpm_window.append(bpm) if len(self.bpm_window) == 0: return 0 return int(np.median(self.bpm_window)) def update_emotion(self, proba): for k in self.smooth_proba: self.smooth_proba[k] = (self.alpha * proba[k] + (1 - self.alpha) * self.smooth_proba[k]) return self.smooth_proba

window=5对应 25 秒的心率中位数，适合长时间监测；如果要做实时反应，可以降到 3。alpha=0.3表示新值权重 30%，旧值 70%，数值越小越稳但越滞后。测谎演示里我一般用 0.2 到 0.3，既能看出紧张时心率上升的趋势，又不会因为一次误检就跳变。

还有一个验证技巧：让同一个人先静坐 2 分钟采集基线，再让他做心算或快速问答，观察心率中位数和紧张概率是否同步上升。如果心率没动但紧张概率飙升，说明情感模型过拟合了面部特征，需要重新平衡特征权重。我每次换摄像头或换环境光都会先跑一遍这个基线流程，确认 rPPG 信噪比够用再开始正式采集。希望帮到你。

本文还有配套的精品资源，点击获取