【Fine-tuning】 详解：Feature Extraction、Linear Probing 与 End-to-End 的区别

​ 在深度学习实践中，我们很少从零开始训练一个模型。更常见的做法是：基于预训练模型，通过迁移学习解决新任务。

​ 而在迁移学习中，Fine-tuning（微调）是最核心、也最容易混淆的概念之一。

​ 本文将系统梳理 Fine-tuning 的几种常见策略，并重点解释以下几个高频术语之间的关系：

• Feature Extraction
• Linear Probing
• Full Fine-tuning
• End-to-End

一、什么是 Fine-tuning？

​Fine-tuning（微调）是指：将在大规模数据集上预训练好的模型，迁移到新任务上，并对模型参数进行一定程度的调整。

​ 根据是否更新预训练模型的特征提取层参数，Fine-tuning 通常分为两大类策略：

二、Feature Extraction（特征提取）

​ 整体流程可以抽象为：

2.1 概念说明

​Feature Extraction的核心思想是：把预训练模型当作一个固定的特征提取器来使用。

​ 模型的主体结构（Backbone）不再学习，只负责将输入映射为高维特征。

2.2 具体做法

• 加载预训练模型
• 冻结所有特征提取层参数（requires_grad=False）
• 在其后新增一个分类器
• 只训练新增的分类器

2.3 直观类比

​ 可以把预训练模型理解为一台已经调好参数的相机：

• 相机本身不再改动
• 你只训练一个人，学会如何根据照片内容做判断

2.4 适用场景

• 数据量较小
• 训练资源有限
• 快速验证模型可行性

三、Linear Probing（线性探测）

3.1 什么是 Linear Probing？

​Linear Probing是 Feature Extraction 的一种特殊形式。

• 其特点是：
  • 冻结整个预训练模型
  • 分类器只使用一个线性层（Linear Layer）
  • 仅训练这一层

# Linear Probing 的本质frozen_features=pretrained_model(image)# 冻结，不训练output=nn.Linear(768,num_classes)(frozen_features)# 只训练这一层

3.2 为什么叫“探测”？

​ “Probing” 并不是为了追求最优性能，而是为了评估预训练特征的质量：

• 如果只用一个线性层，就能在下游任务上取得不错的效果
• 说明预训练模型已经学到了高度可迁移的通用特征
• 因此，Linear Probing 常用于：
  • 对比不同预训练模型
  • 验证自监督学习或预训练策略的效果

3.3 与 Feature Extraction 的关系

Linear Probing ⊂ Feature Extraction

• 区别仅在于分类器的复杂度：
  • Feature Extraction：分类器可以是 MLP
  • Linear Probing：分类器严格为线性层

四、 Full Fine-tuning（全量微调）

4.1 概念说明

​Full Fine-tuning指的是：使用预训练权重作为初始化，但在训练过程中更新模型的所有参数。

​ 也就是说，预训练模型不再是“固定特征提取器”，而是会根据新任务进行整体调整。

图像 → [预训练模型的所有层] → 预测结果 (全部学习)

4.2 直观类比

​ 如果说 Feature Extraction 是“只训练识别的人”，那么 Full Fine-tuning 则是：人和相机一起训练，镜头、焦距、曝光参数都可以被重新调整。

4.3 适用场景

• 数据量充足
• 新任务与预训练任务差异较大
• 追求最佳下游任务性能

5. End-to-End（端到端训练）

5.1 概念说明

​End-to-End强调的是训练方式，而不是模型结构：梯度从输出端一直反向传播到输入端，整个模型链路全部参与训练。

输入端 输出端 │ │ ▼ ▼ 图像 → [层1] → [层2] → ... → [层N] → [分类头] → 预测 ↑ ↑ ↑ ↑ └───────┴──────────────┴────────┘ 全部参与训练（端到端）

5.2 与 Full Fine-tuning 的关系

• 在迁移学习语境下：End-to-End ≈ Full Fine-tuning
• 二者的区别主要在于侧重点：
  • Full Fine-tuning：强调“所有参数都被微调”
  • End-to-End：强调“从输入到输出整体优化”

六、术语对照与总结