拆解ms-eff-gcvit-deepfake-b0-kodf架构（三）：多尺度双分支特征融合设计与计算效率优化深度解析

ms-eff-gcvit-deepfake-b0-kodf 是 DeepGuard 项目推出的Deepfake 检测模型（MS-EffGCViT b0 变体），采用多尺度双分支特征融合的 CNN-ViT 混合架构，在 8.7M 参数、0.87G FLOPs 的极低成本下实现 KoDF 数据集 0.9655 的检测准确率。本文深度解析它的双分支设计思想、窗口注意力机制，以及背后的计算效率优化策略，帮新手快速理解这一开源项目的架构精髓。

为什么 Deepfake 检测需要"多尺度双分支"？

深度伪造（Deepfake）痕迹往往同时存在于两个层面：

• 局部细微痕迹：皮肤纹理异常、融合边缘接缝、五官对齐偏差——这些细节只在小区域可见，需要高分辨率特征才能捕捉；
• 全局一致性异常：光照与阴影方向冲突、整体结构不协调——这些需要低分辨率的全局视野才能发现。

单一尺度的网络容易"顾此失彼"。MS-EffGCViT 的解法是从 EfficientNet 骨干网的不同深度提取特征，构建两条并行分支：

最终两分支输出融合（Feature Fusion），让模型同时基于局部与全局上下文做出综合判决。这一多尺度策略的设计与参数定义，可参考 configuration_ms_eff_gcvit.py 中的 b0 配置块。

低层分支：高分辨率特征捕捉细微痕迹

低层分支从骨干早期 block 提取高分辨率特征图，是模型的"显微镜"。b0 配置下其关键参数（见 config.json）：

• l_dim=24、l_depths=[2, 2, 4, 2]：轻量级的 4 级 GCViT 块，逐级加深
• l_windows=[7, 7, 14, 7]、l_heads=[1, 2, 4, 8]：窗口大小与注意力头数随层级递增

由于浅层特征图空间尺寸大（224×224 输入下约为 32×32 及以上），若直接做全局自注意力，计算量将爆炸——这正是窗口注意力登场的原因。

高层分支：低分辨率特征把握全局一致性

高层分支从骨干第 6 个 block 提取低分辨率特征图，是模型的"广角镜"：

• h_dim=256、h_depths=[4]、h_heads=[4]：单层但更宽的 GCViT 堆叠，表达全局语义
• h_windows=[7]：同样以窗口机制组织注意力

低分辨率特征天然覆盖更大的感受野，适合分析整体光照分布、阴影方向和面部结构一致性——这些恰恰是高质量 Deepfake 最难掩盖的破绽。

窗口注意力：全局上下文也能"用得起"

两个分支共享 GCViT 的核心组件——长短程空间交互注意力，由两种机制组成：

• 局部窗口注意力（Local Window Attention）：将特征图划分为固定窗口，注意力仅在窗口内计算。它高效捕捉局部纹理与精确空间细节，且计算复杂度随图像尺寸线性增长——而非传统全局注意力的平方级增长。
• 全局窗口注意力（Global Window Attention）：这是与 Swin Transformer 的关键差异所在。它生成一组全局查询（Global Query），让全局上下文与每个局部窗口的 Key/Value 交互。这样每个局部区域都能"看到"整幅图的全局信息，从而建模长程依赖，理解完整空间结构。

这套机制正是"Efficient Global Context"命名的由来：以窗口化的低成本开销，换取接近全局注意力的表达力。

计算效率优化的两大关键点

b0 变体能在移动端/边缘侧跑通，靠的不是"砍功能"，而是两处精打细算：

1. 高效骨干网络（Efficient Backbone）在 Deepfake 检测基准上，Xception 与 EfficientNet 表现都 excellent，但项目选择了后者：其MBConv（Inverted Residual）块 + 深度可分离卷积的设计，把 FLOPs 压到远低于 Xception 的水平（b0 仅 0.87G vs b5 的 13.64G）。

2. 窗口化注意力（Window-based Attention）注意力不直接施加在原始图像上，而是施加在骨干提取出的特征图上，再切分为窗口计算。经典 $O(N^2)$ 复杂度被限制在窗口尺度内，计算足迹显著下降。

3. CNN 式 Patch Embedding与传统 ViT 的线性投影不同，模型采用基于 MBConvBlock 的 CNN 式 Patch Embedding，通过重叠感受野让相邻 patch 共享信息，注入空间归纳偏置——收敛更稳、更快，小数据集上优势尤为明显。

以上设计细节对应源码 modeling_ms_eff_gcvit.py 中MsEffGCViTForImageClassification的封装：底层网络结构由deepguard包的 builder 构建，forward 仅输出[B, 1]的 fake logit，再拼上全零列形成[real, fake]双类别 logits，简洁地对接了 Transformers 生态。

融合输出与推理流程：从图像到 real/fake 判决

模型最终输出Sigmoid 概率值[0, 1]——越接近 1 越可能是伪造。推理时由两条 pipeline 完成前置工作：

• 图像 pipeline（pipeline_ms_eff_gcvit.py）：原始图像 → YOLOv8 人脸检测裁剪（yolov8n-face.pt）→ 缩放归一化 → 概率输出。支持margin_ratio（人脸框外扩比例）、conf_thres（检测置信度阈值）、min_face_ratio（最小人脸占比）、tta_hflip（测试时增强）等参数。
• 视频 pipeline（pipeline_video_ms_eff_gcvit.py）：等间隔采样 20 帧 → 逐帧人脸裁剪 → 批量推理 → 按conf/mean/vote三种模式聚合各帧 fake 概率。其中conf模式的启发式聚合逻辑（高置信帧过半则取其均值等）见 _aggregate 方法。

小结：架构拆解一张表

ms-eff-gcvit-deepfake-b0-kodf 用"多尺度双分支 + 窗口化全局上下文注意力"的组合，在 Deepfake 检测这一任务上取得了精度与效率的平衡点：b0 负责实时场景，b5 负责企业级精度，一套架构覆盖图像与视频的帧级检测。理解它的双分支融合思路与计算效率设计，也为阅读其他高效视觉模型提供了很好的范式参考。