别再让模型‘偏科’了：用PyTorch手把手实现Focal Loss解决样本不平衡（附完整代码）

用PyTorch实现Focal Loss：解决样本不平衡的实战指南

当你在训练一个图像分类模型时，是否遇到过这样的困境：模型对多数类别的预测准确率很高，但对那些出现频率较低的类别却总是"视而不见"？这种现象在目标检测任务中尤为常见——模型倾向于将稀有物体预测为背景。今天，我们就来深入探讨这个问题的根源，并手把手教你用PyTorch实现Focal Loss这一解决方案。

1. 样本不平衡：模型偏科的罪魁祸首

在现实世界的数据集中，类别的分布很少是均匀的。以自动驾驶场景为例，图像中"行人"出现的频率可能只有"道路"的千分之一。这种极端不平衡会导致传统交叉熵损失函数陷入困境：

• 多数类主导：损失函数被大量简单负样本（如背景）所主导
• 梯度淹没：稀有类别的梯度信号被淹没，难以有效更新参数
• 虚假准确率：整体准确率看似很高，但对关键少数类的识别率极低

# 典型的不平衡数据集示例 class_distribution = { 'background': 100000, 'pedestrian': 100, 'cyclist': 50, 'traffic_light': 200 }

1.1 传统解决方案的局限性

常见的应对方法各有缺陷：

2. Focal Loss的核心思想

Focal Loss的提出者从两个维度重构了损失函数：

动态缩放机制：

• 对易分类样本降低权重（无论正负）
• 对难分类样本保持关注
• 通过γ参数控制缩放强度

类别平衡因子：

• 通过α参数调节正负样本权重
• 补偿类别频率差异
• 与动态缩放协同工作

def focal_loss(pred, target, alpha=0.25, gamma=2.0): BCE_loss = F.binary_cross_entropy_with_logits(pred, target, reduction='none') pt = torch.exp(-BCE_loss) # 防止数值不稳定 focal_term = (1-pt)**gamma alpha_term = alpha * target + (1-alpha) * (1-target) return alpha_term * focal_term * BCE_loss

2.1 数学原理深度解析

Focal Loss的公式可以分解为三个关键部分：

1. 基础交叉熵： $$ CE(p,y) = -\log(p) \quad \text{if} \ y=1 $$ $$ CE(p,y) = -\log(1-p) \quad \text{otherwise} $$

2. 调制因子： $$ (1-p_t)^\gamma $$ 其中$p_t = p$当$y=1$，否则$p_t=1-p$

3. 平衡因子： $$ \alpha_t = \alpha \quad \text{if} \ y=1 $$ $$ \alpha_t = 1-\alpha \quad \text{otherwise} $$

最终组合形式： $$ FL(p_t) = -\alpha_t(1-p_t)^\gamma \log(p_t) $$

3. PyTorch完整实现与调参指南

下面是一个支持多分类的Focal Loss实现，包含工业级的最佳实践：

class FocalLoss(nn.Module): def __init__(self, alpha=None, gamma=2.0, reduction='mean'): """ alpha: 类别权重张量或列表 (C,) gamma: 聚焦参数，越大则对难样本关注越高 reduction: 'none' | 'mean' | 'sum' """ super().__init__() self.gamma = gamma self.reduction = reduction if alpha is not None: if isinstance(alpha, (list, np.ndarray)): self.alpha = torch.tensor(alpha) else: self.alpha = alpha else: self.alpha = None def forward(self, inputs, targets): # 处理多分类和多标签两种情况 if inputs.dim() > 2: inputs = inputs.view(inputs.size(0), inputs.size(1), -1) # N,C,H,W => N,C,H*W inputs = inputs.transpose(1, 2) # N,C,H*W => N,H*W,C inputs = inputs.contiguous().view(-1, inputs.size(2)) # N,H*W,C => N*H*W,C # 计算交叉熵 logpt = F.log_softmax(inputs, dim=1) logpt = logpt.gather(1, targets.view(-1, 1)) logpt = logpt.view(-1) pt = logpt.exp() # 应用类别权重 if self.alpha is not None: at = self.alpha.gather(0, targets.view(-1)) logpt = logpt * at # 计算focal loss loss = -1 * (1 - pt)**self.gamma * logpt # 选择reduction方式 if self.reduction == 'none': return loss elif self.reduction == 'mean': return loss.mean() else: return loss.sum()

3.1 参数调优实战技巧

γ的选择策略：

• 0：退化为加权交叉熵
• 1-2：常用范围
• 5+：可能导致训练不稳定

α的设置方法：

• 类别频率的倒数
• 验证集上网格搜索
• 从0.5开始逐步调整

提示：建议先用较小的γ(1.0)和适中的α(0.25)开始，观察模型对不同类别的敏感度变化，再逐步调整。

4. 实战效果对比与案例分析

我们在COCO数据集上进行了对比实验，结果如下：

4.1 训练曲线分析

从曲线可以看出：

• 交叉熵：快速收敛但性能饱和
• Focal Loss：初期波动较大，但最终超越基准
• 验证集上未见明显过拟合

4.2 常见问题解决方案

梯度爆炸：

• 降低γ值
• 添加梯度裁剪
• 减小学习率

训练初期不稳定：

• 使用warm-up策略
• 初始阶段混合交叉熵
• 逐步增加γ值

# 渐进式Focal Loss实现示例 class ProgressiveFocalLoss: def __init__(self, max_gamma=2.0, steps=1000): self.current_step = 0 self.max_gamma = max_gamma self.total_steps = steps def __call__(self, inputs, targets): progress = min(self.current_step / self.total_steps, 1.0) gamma = progress * self.max_gamma self.current_step += 1 return focal_loss(inputs, targets, gamma=gamma)

5. 进阶应用与扩展思考

Focal Loss的思想可以扩展到其他领域：

多任务学习：

• 对不同任务动态分配权重
• 根据任务难度调整关注度

异常检测：

• 正常样本作为"多数类"
• 异常样本获得自动增强

半监督学习：

• 对高置信度样本降低权重
• 聚焦预测不确定的样本

# 多任务Focal Loss示例 class MultiTaskFocalLoss: def __init__(self, task_weights, gamma=2.0): self.task_weights = task_weights self.gamma = gamma def __call__(self, inputs, targets): losses = [] for i, (inp, target) in enumerate(zip(inputs, targets)): loss = focal_loss(inp, target, gamma=self.gamma) losses.append(loss * self.task_weights[i]) return sum(losses) / len(losses)

在实际项目中，我发现将Focal Loss与标签平滑技术结合使用效果更佳。特别是在数据存在噪声时，这种组合既能处理类别不平衡，又能提高模型泛化能力。另一个实用技巧是在训练后期逐渐降低γ值，让模型在收敛阶段能够兼顾所有样本。