rPPG人脸心率工程落地：ECG/PPG验证与信号融合实践

简介：面向生物医学工程与计算机视觉研究者，一套基于人脸视频的无接触心率测量实现代码，即rPPG（远程光电容积描记）方法。原理基于心跳引起皮下毛细血管血液流量变化，致使皮肤颜色周期性改变，从而通过摄像头视频提取心率值。实现对应van der Kooij与Naber（2018）提出的标准测试流程，适合复现论文或搭建非接触式生命体征监测原型的开发者。包内共12个文件，以m脚本为主（7个），涵盖核心算法、人脸检测、肤色模板选择等模块；附带1个mp4演示视频、2个txt说明、1个md及license文件，总大小3.32MB。整体结构紧凑，便于快速定位算法与测试流程。目前已有942人学习下载。整套实现不仅可直接运行演示，还可依据说明与注释理解每一步信号处理逻辑，为后续引入心电（ECG/PPG）对比或个性化皮肤分割提供基础代码，实用价值较高。

1. rPPG 和 ECG/PPG 绑在一个人脸心率工程里，到底在解决什么

人脸心率这个需求，落到工程上是两件事：先靠 rPPG（remote photoplethysmography，远程光电容积脉搏波描记）从视频里算出脉搏波，再靠 ECG 和 PPG 去验证它。只做前者，结果对不对没人能说清。

rPPG 的难点在信噪比：皮肤颜色随血流的脉动幅度通常不到通道均值的 1%，光照和运动一扰动就被淹没。ECG 提供时间基准，PPG 提供波形形态，两者联合起来正好评估 rPPG 质量并做加权融合。

下面按一条可复现链路走：rPPG 成像假设与最小提取代码、ECG/PPG 波形对齐、质量评估与 cfpwv 类特征、误差验证，最后落到三个最容易翻车的参数细节。

2. 从人脸视频到脉搏波：rPPG 的成像假设与最小复现管线

做 rPPG 之前，先得接受一个前提：你要找的信号不是被摄像头直接拍到的，而是藏在皮肤漫反射里的一层微小调制。把这层调制从 RGB 通道里抽出来，是 rPPG 提取阶段唯一要处理的事，下面按从物理到代码的顺序展开。

2.1 皮肤光学模型：为什么人脸 ROI 的 RGB 均值里藏着 PPG 信号

光打到皮肤上，一部分被表皮吸收，一部分进入真皮层并在那里被散射，散射回来的光就是相机收到的漫反射。血红蛋白在 500～600nm 波段吸收明显，心室收缩时血容量上升，真皮层吸收增强，漫反射光变弱；舒张期反之。于是每一帧里，ROI 内的通道均值都叠加了一个与心动周期同步的微小波动，这就是 rPPG 的信号来源。

这个波动的幅度决定了后续手段。实测里脉动量通常只有通道均值的 0.1%～1%，跟摄像头位深、编码器、光照都有关系。正因如此，只取绿色通道做带通滤波也能看出波形轮廓：血红蛋白在绿光段的吸收峰最明显，很多早期 demo 用 G 通道比值就能报心率。

不过单通道方案吃光照。rPPG 的成像假设是：漫反射里非脉动成分占主导且变化平缓，脉动成分在 RGB 三个通道上有相对固定的比例。CHROM、POS 这类彩色算法正是利用这个比例做投影，把肤色方向的共模成分（光照变化）压掉，而不是拿单个通道硬扛。

2.2 三种常用 rPPG 提取算法的选型对比

选算法前先确认数据条件：单人脸、RGB 摄像头、30fps、可见光照明。满足这些条件时，主流选择集中在下面三种。

一般默认先跑 POS：它在公开基准上的表现最接近现成可用，参数只有窗口长度和带通范围，出问题容易定位。ICA 短窗内成分分解经常发散，不建议在实时场景做首选。

2.3 用 POS 在本地跑通 rPPG 提取的最小代码

下面这段把 POS 写成点估计形式：对每个时间点取滑窗，在窗内归一化和投影，输出窗末采样点，效果等同逐帧输出。

import numpy as np from scipy.signal import butter, filtfilt def pos_ppg(rgb, fps=30, low=0.75, high=4.0, win=32): """从人脸 ROI 的逐帧 RGB 均值提取 rPPG 波形。 rgb: (T, 3) 浮点数，范围 0~1；fps: 视频帧率。 """ T = rgb.shape[0] ppg = np.zeros(T) half = win // 2 for t in range(T): s = rgb[max(0, t - half): t + half + 1] # 滑窗截断边界 # 1) 时间归一化：除以窗口均值，消光照强度漂移 cn = s / (np.mean(s, axis=0) + 1e-9) # 2) 肤色正交投影：S1=G-B，S2=-2R+G+B s1 = cn[:, 1] - cn[:, 2] s2 = -2.0 * cn[:, 0] + cn[:, 1] + cn[:, 2] # 3) 用标准差之比组合两分量，避免过曝通道主导 alpha = np.std(s1) / (np.std(s2) + 1e-9) ppg[t] = s1[-1] + alpha * s2[-1] # 取窗末值 # 4) 带通滤波：0.75Hz~4Hz 对应 45bpm~240bpm b, a = butter(2, [low / (fps / 2.0), high / (fps / 2.0)], btype="band") return filtfilt(b, a, ppg)

逻辑说明：第 1 步的通道归一化把静态肤色和慢变光照的直流部分去掉；第 2 步的投影矩阵来自 POS 原文的肤色正交投影，S1 等价于色度差，S2 等价于亮度归一后的色度残差；第 3 步的 alpha 让两分量幅值可比；第 4 步的带通是最后防线，带外能量基本算噪声。参数上 win 建议取 1～2 秒（30fps 下 32～64 帧），窗口太短会引入低频抖动，太长会让心率变化变迟钝。

2.4 从 rPPG 波形到心率的两种读法：FFT 与逐拍峰值

波形到手后心率有两条路。FFT 法把一段波形当周期信号，在主频处读数，抗单点毛刺，但窗口越短频率分辨率越差：30 秒窗的频率分辨率约 0.033Hz，折合心率约 2bpm，窗口再短就逼近误差上限。逐拍法先找收缩峰再取间期，输出粒度细，适合看瞬时心率，缺点是峰值误检会直接变成心率跳变。

import numpy as np from numpy.fft import rfft, rfftfreq def hr_fft(ppg, fps=30, low=0.75, high=4.0): n = len(ppg) if n < fps: return np.nan f = rfftfreq(n, 1.0 / fps) amp = np.abs(rfft(ppg * np.hanning(n))) # 加窗抑制频谱泄漏 mask = (f >= low) & (f <= high) return f[mask][np.argmax(amp[mask])] * 60.0 def hr_peaks(ppg, fps=30, min_gap=0.25): # min_gap=0.25s 对应 240bpm 上限，防止噪声峰入选 from scipy.signal import find_peaks peaks, _ = find_peaks(ppg, distance=min_gap * fps, prominence=0.3 * np.std(ppg)) if len(peaks) < 2: return np.nan return 60.0 / np.median(np.diff(peaks) / fps)

参数说明：FFT 法必须加窗，矩形窗会让旁瓣把低频漂移泄漏进脉搏带；峰值法的 prominence 取波形标准差的 0.3 倍是经验值，运动片段建议升到 0.5 倍，并用中位数而不是均值估计间期，因为个别误检对中位数不敏感。两种方法的输出粒度不同，后面与 ECG 比较时，全程只使用同一种粒度。

3. ECG 与 PPG 波形对齐：给 rPPG 的人脸心率结果建立时间基准

rPPG 提取出来的是光学波形，ECG 是电学波形，两者之间没有固定的时间对齐关系，所以要放在同一条时间轴上对齐，有三个问题要处理：延迟大小、采样率差异、逐拍配对。对齐做扎实了，rPPG 的标定和融合才有依据。

3.1 ECG 的 R 波为什么不能直接和 PPG 收缩峰对齐

R 波代表心室去极化，是电学事件；PPG 收缩峰是血流压力波到达测量点的时刻，两者之间隔着电机械延迟和脉搏波传导时间。健康成人从 R 波到指端或面部 PPG 收缩峰，典型延迟约 200～400ms，面部路径短，延迟更靠近下限。

这个延迟对心率数值没有影响：ECG 的 R-R 间期和 PPG 的峰-峰间期均值一致，可以直接比 bpm。但逐拍匹配时不能按最近邻配对，心率变化快的片段会把上一拍错配到下一拍。对 rPPG 验证来说，错配比延迟本身更致命，一对错就是 10bpm 量级的伪误差。

3.2 采样率、延迟窗口与插值：统一时间基准的三个参数

三种信号各说各话：ECG 设备常见 250Hz～1kHz，指夹 PPG 常见 50～125Hz，摄像头 30fps 且帧间隔抖动明显。统一做法是先按时间戳重采样到同一频率再做峰值检测；直接按帧号当等间隔，会引入 33ms 级抖动，对 200ms 量级的延迟估计来说误差太大。

重采样工具上用 scipy.signal.resample_poly 而不是 resample：后者按 FFT 等间隔插值，对非周期信号边界会出现振铃；poly 相位法按有理数比例采样，边界可控得多。ECG 从 1000Hz 降到 500Hz 基本无感，PPG 从 125Hz 升到 250Hz 也足够平滑。

延迟窗口的范围一般取 50ms 到 450ms：下限避开 R 波检测的振铃，上限覆盖包括病理慢传导在内的人群。如果数据来自儿童，上限要缩到 350ms，儿童的脉搏波传导时间更短，窗口太宽会误配到下一拍。

3.3 用 R 波到收缩峰的延迟自动配对两条波形

import numpy as np from scipy.signal import find_peaks def align_ecg_ppg(ecg, ppg, fs, lag_min=0.05, lag_max=0.45): """在统一采样率 fs 上逐拍配对。 返回数组每行为 (R 波位置, PPG 收缩峰位置, 延迟 ms)。 """ r_peak, _ = find_peaks(ecg, distance=0.4 * fs, prominence=0.3 * np.std(ecg)) s_peak, _ = find_peaks(ppg, distance=0.4 * fs, prominence=0.2 * np.std(ppg)) pairs = [] for r in r_peak: # 只接受落在 [lag_min, lag_max] 时间窗内的收缩峰 cand = s_peak[(s_peak - r >= lag_min * fs) & (s_peak - r <= lag_max * fs)] if len(cand): pairs.append((r, cand[0], (cand[0] - r) / fs * 1000.0)) return np.asarray(pairs)

逻辑说明：find_peaks 的 distance 取 0.4 秒，对应 240bpm 上限，高频噪声不会被当成心跳；prominence 用各自波形标准差的倍数，ECG 门槛高是因为 R 波尖，PPG 门槛低是为了保留小振幅脉搏。每个 R 波只取窗口内第一个收缩峰，避开重搏波（dicrotic notch 后的小波）造成的误配。输出的延迟列直接画直方图：健康数据应该集中在一个窄带里，若分散超过 50ms，说明某一路峰值检测存在系统性问题，先修信号再谈对齐。

提示：找峰之前先做基线漂移去除，ECG 用 0.5Hz 高通，PPG 用 0.5～4Hz 带通；顺序不能反，先滤波后找峰，否则滤波相位会改变峰值位置。

4. 信号质量评估与 ECG/PPG 融合：cfpwv 这类波形特征在 rPPG 里的实际用途

对齐之后，下一个问题是谁值得信。rPPG 和 PPG 各有失效模式，波形看起来像正弦波并不代表质量合格；更实用的做法是用频带能量比值定义信噪比，用信噪比决定融合权重，再用 ECG 与 PPG 的时间差类特征做交叉验证。

4.1 为什么 rPPG 心率会跳变：频带信噪比与运动伪差

rPPG 心率跳变几乎都来自三种扰动：面部刚体运动让 ROI 里的像素来源不断变化，表情变化让非皮肤像素混入，光源频闪直接叠加周期噪声。它们的共同表现是脉搏带内的能量分布不再集中，FFT 主峰在相邻频率间跳来跳去，逐拍法的峰值间隔也被打乱。

所以质量评估的通用做法是算频带信噪比：脉搏带能量与相邻噪声带能量的对数比值。噪声带选 0.1～0.5Hz（慢变光照漂移）和 5～8Hz（压缩伪影与运动），有意避开脉搏带。SNR 高于 3dB 的片段才参与融合，是保守且常用的门槛。

4.2 按 SNR 加权的 rPPG 与 PPG 融合代码

融合策略是分窗、赋权、取加权平均：每 10 秒一个分析窗，分别从 rPPG 和 PPG 算出心率和 SNR，权重取 SNR 减去门槛后的正值，最后加权平均并做滑动中值平滑。

import numpy as np from scipy.signal import periodogram def window_snr(ppg, fps=30, low=0.75, high=4.0): f, pxx = periodogram(ppg, fps) sig = pxx[(f >= low) & (f <= high)].sum() nz = pxx[(f >= 0.1) & (f < low)].sum() + \ pxx[(f > high) & (f <= 8.0)].sum() return 10.0 * np.log10(sig / (nz + 1e-12)) def fuse_hr(hrs, snrs, gate=3.0): # hrs 与 snrs 等长，例如 [hr_rppg, hr_ppg] 及其对应 SNR w = np.clip(np.asarray(snrs) - gate, 0.0, None) # 低于门槛权重为 0 if w.sum() < 1e-9: return np.nan return float(np.dot(hrs, w) / w.sum())

参数说明：gate 取 3dB 对应“FFT 主峰还能连续辨认”的下限，低于它融合结果和单路随机挑差不多。权重用线性 clip 而不是指数，是避免某一路 SNR 特别高时把另一路完全压制；高 SNR 片段偶尔也有系统偏差，保留少量低权重路径能兜底。滑动中值窗口取 5 个分析窗（50 秒），能压掉单窗跳变，又不会把真实的心率变化抹平。

4.3 cfpwv 与脉搏波传导：ECG 提供时间基准，PPG 提供形态

cfpwv 在临床上是颈股脉搏波传导速度，反映血管硬度；在 ECG/PPG 联合分析的工程语境里，它代表一类以时间差为核心的特征：ECG 的 R 波是电学起点，PPG 的收缩峰或浪起点是脉搏到达的终点，两者之差就是脉搏波传导时间，结合测量点距离可换算成速度。

放到人脸心率工程里，cfpwv 类特征不做诊断，而是当交叉验证的试金石：如果摄像头 rPPG 与接触式 PPG 同源，两组信号对同一次心跳算出的传导时间应当高度接近。跑通对齐后，把这个传导时间序列的标准差打出来，超过 50ms 基本可以断定某一路峰值检测有系统性问题，比盯着波形主观判断可靠。

要注意的是，面部 rPPG 算出的传导时间与传统颈股路径量纲完全不同，不要拿它比临床参考值。要比较的只是同一个工程内部、两种光学测量途径之间的一致程度。

5. 以 ECG 为金标准验证 rPPG 人脸心率：MAE、RMSE 与 Bland-Altman 的计算口径

融合完成不等于验证完成。把估计得到的心率序列与 ECG 金标准放在同一时间轴上逐窗比较，才能量化误差；下面给出三个必看指标、可接受范围，以及一段直接可用的计算代码。

5.1 MAE、RMSE、Bland-Altman 的可接受范围怎么定

MAE 管平均偏差，RMSE 管大误差出现的频率，Bland-Altman 管偏差的系统性。只用 MAE 的问题在于它会被大量小误差拉低，偶尔出现的 15bpm 跳变淹没在均值里；RMSE 对这类异常值敏感，两个指标一起看才能区分均匀小偏差和偶发大偏差。

这些数值参考公开 rPPG 基准里的常见水平：受控光照下主流算法基本处在 MAE 1～3bpm，进入自然运动条件误差翻倍很常见。如果静态片段跑到 4bpm 以上，先怀疑对齐而不是算法——很多项目里所谓“算法差”，其实是参考信号和估计信号错配了一拍。

有的项目还加 Pearson 相关系数，它衡量趋势一致性，但两条序列一个整体偏快、一个整体偏慢时 r 值仍然可能很高，只能当辅助指标。更实用的是分段统计：把整段数据切成 30 秒小块，逐块算 MAE 再画直方图，右尾就是问题片段，配合日志里的 SNR 一起排查。

还有一个常被忽略的口径问题：逐拍瞬时心率由单次间期计算，10 秒窗平均心率由多拍平均得到，两者在数值上不是一回事。呼吸性窦性心律不齐会让逐拍心率在相邻拍之间波动超过 5bpm，比较时两边必须用同一种口径，要么都是窗内平均，要么都对逐拍序列做相同长度的中值滤波。

5.2 对齐后计算误差指标的最小代码

import numpy as np def eval_hr(ref, est): """ref: ECG 金标准 bpm 数组；est: rPPG 估计 bpm 数组""" ref = np.asarray(ref, float) est = np.asarray(est, float) diff = ref - est mae = np.mean(np.abs(diff)) rmse = np.sqrt(np.mean(diff ** 2)) bias = np.mean(diff) loa = 1.96 * np.std(diff, ddof=1) # 95% 一致性界限 return {"MAE": mae, "RMSE": rmse, "bias": bias, "LoA_95": (bias - loa, bias + loa)}

对比前有两个前提：一是两条序列按同一分析窗切分，推荐直接复用第 4 章的 10 秒融合窗，避免额外重采样；二是先对整条序列做滑动相关求出最佳延迟，把残余固定时间差消掉再算指标，否则 bias 会被系统性高估。

提示：Bland-Altman 的 LoA 只看一遍不够。把 diff 按时间画出来，如果偏差随时间变大，说明 rPPG 的信号质量在退化，此时整体 MAE 没有意义，应该分段评估并剔除标记的低质量片段。

6. 落地验证 rPPG 时最容易翻车的三个参数细节

流程跑通之后，误差来源基本收敛到滤波实现、帧间隔处理、ROI 稳定性三个细节，按顺序排查，通常能把整体误差再压下一个量级。

6.1 滤波必须零相位，否则峰值位置系统性偏移

同样的带通参数，lfilter 是因果滤波，会引入与频率相关的群延迟；在 30fps 数据上，0.75Hz 高通附近的延迟能到几十毫秒，直接毁掉 ECG 对齐和传导时间计算。离线处理统一用 filtfilt 做零相位滤波，峰值位置不偏移；实时管线若必须用因果滤波，先拿 scipy.signal.group_delay 算出通带群延迟，再在峰值检测时回加补偿。

from scipy.signal import filtfilt, lfilter # 离线处理：零相位，峰值位置与真实事件对齐 ppg_f = filtfilt(b, a, ppg) # 实时处理：因果滤波拿到当前输出，群延迟单独补偿 y_last = lfilter(b, a, ppg)[-1] # delay = group_delay((b, a), fs) # 取通带中值，检测时回加

6.2 帧间隔抖动要按时间戳重采样

笔记本摄像头在自动曝光切换瞬间经常丢帧，帧号并不等间隔。直接按帧号当作均匀序列，丢帧处的波形会被拉长，心率被低估。常见做法是记录每帧时间戳，用线性插值把波形重采样到理想帧率，再进带通滤波。

# ts: 每帧时间戳；ppg_raw: 未滤波的逐帧波形 ts_new = np.linspace(ts[0], ts[-1], len(ts)) ppg_fixed = np.interp(ts_new, ts, ppg_raw) # 按时间轴重建等间隔信号

线性插值对 30fps 的 rPPG 足够，峰值位置误差约半个采样周期；丢帧超过总帧数 10% 的片段直接标记为低质量，不参与融合。

6.3 ROI 平滑与人脸检测置信度门槛

人脸检测器逐帧输出的框会抖动，ROI 像素不同源。先对检测框中心做指数移动平均（alpha 从 0.3 起调），再按人脸先验裁出脸颊与额头区域，能明显压低 ROI 切换引入的运动伪差；检测置信度低于阈值的帧直接沿用上一帧 ROI。

日常工作里，把分段 MAE 直方图做成管线固定输出，每次调参先看右尾；右尾收得越紧，说明阈值和滤波参数的调整方向是对的。

本文还有配套的精品资源，点击获取