干了几轮带噪声标签的项目之后，我第一次看到DivideMix这篇论文，心里那种"老办法总差一口气"的感觉终于有了出口。之前处理标签噪声，常用的思路无非是：拿小损失样本当干净样本、按置信度截断、给样本重新加权。思路没错，但在高噪声率下，模型一旦开始把错误标签当真理，截断和加权都会跟着失真。DivideMix标题里那半句话——把带噪标签学习当成半监督学习来做——当时让我眼前一亮：既然标签不可信，就别硬着头皮去"清洗"它，干脆把那些不确定的样本当作无标签数据，用半监督学习的机制把它们重新利用起来。
这篇文章我会按照原论文的章节顺序，做一次完整的翻译加解读，把摘要、方法、实验、还有代码复现里真正要注意的东西全部捋一遍。适合两类人看：一类是想复现DivideMix做实验的研究者或工程师，另一类是只需要理解"为什么噪声标签可以被半监督学习拯救"的产品同学。我不会只贴翻译，还会补上我在实际跑实验时踩过的坑。
1. 摘要翻译与核心洞察：噪声标签问题如何"降维"成半监督问题
1.1 摘要部分逐段翻译
原文摘要第一句的核心意思：现有的带噪标签学习方法通常是设计一种特殊的训练策略，比如修改损失函数、重新加权样本或者小心地对样本进行选择，这些策略都试图"纠正"标签噪声带来的影响。但DivideMix换了个视角：它不把带噪标签当作一个问题去修补，而是直接把它当作半监督学习问题来处理。
具体做法可以拆成三步。第一步，用两个网络的损失分布去判断哪些样本是干净的、哪些是带噪的。它不设定一个固定的损失阈值，而是对全部样本的损失做高斯混合模型（GMM）拟合，让两个分布自己浮出来：小损失分量对应干净样本，大损失分量对应噪声样本。第二步，对判断为带噪的样本，不再使用原始标签，而是根据模型预测生成新的伪标签，这些伪标签和干净样本的原始标签一起，构成一个"看似有标签、实则混合了无标签"的训练集。第三步，用半监督训练框架把两类样本放在一起训练。
摘要里特别强调了一个词：co-divide，联合划分。DivideMix不是让一个网络自己给自己划分，而是两个网络各自拟合GMM，把两个网络的概率平均后，共同决定某个样本到底算干净还是算噪声。两个网络互相提供划分结果，也互相为对方生成伪标签。
摘要末尾给出了实验结论：在多个公开基准上，包括合成噪声和真实噪声场景，DivideMix都稳定超过了当时已有的方法，尤其是在高噪声率下优势更明显。论文说这验证了把带噪标签学习当作半监督学习是可行且高效的。
1.2 一点解读：为什么这个重构是成立的
要理解这里为什么把问题"降维"，得先想清楚带噪标签学习和半监督学习在数据结构上的对应关系。
半监督学习最经典的设定是：一部分样本有标签，一部分样本没有标签。带噪标签学习的设定是：所有样本都有标签，但有一部分标签是错的。如果把错标签样本的标签"作废"掉，它们就等价于无标签样本。于是原问题就变成了：给定一个由干净样本（少量但有正确标签）和噪声样本（大量但没有可靠标签）混合而成的训练集，目标是训练一个分类器。这本质上就是半监督学习。
难点在于：半监督学习假设我们知道哪些样本是无标签的，而带噪标签学习里，这个划分信息是未知的，需要模型自己猜。DivideMix的聪明之处就在于，先用一个简单的信号（损失值）做初步划分，然后把"划分的误差"交给半监督训练框架去消化。也就是说，即使某个样本被错误划分了，半监督的一致性正则也能让它继续发挥训练作用，不会像传统方法那样因为清洗错误而造成不可逆的影响。
我把这个逻辑想明白之后，再看它的方法就觉得自然多了：不需要设计复杂的损失修正函数，只需要把"无标签样本"的集合估计得足够好，剩下的交给MixMatch这种成熟框架。
1.3 引言中的相关工作：从样本加权到样本选择
原论文的引言部分回顾了两条研究路线。
第一条路线是样本加权。这类方法不删除任何样本，只是根据每个样本被怀疑为噪声标签的概率，降低它在损失中的权重。问题在于，权重本身很难估计准确，而且加权后的样本依然会把错误标签的信息带入梯度，只是幅度减小了，并没有真正"切断"错误信息。
第二条路线是样本选择。这类方法根据损失或置信度，把一部分样本认为不可靠，直接剔除或忽略掉。代表性的思路包括用小损失筛选干净样本、用课程学习的方式从易到难安排样本、以及双网络的协同教学。问题在于，被剔除的"噪声样本"携带的信息也被浪费了。在高噪声率下，干净样本可能只占很小比例，全部丢弃噪声样本会让训练数据过少，模型反而学不动。
DivideMix的定位介于两者之间：不信任的样本不用于原始标签，但作为无标签样本进入训练。所以它既保证了错误标签的信号不会被直接学习，又避免了资源浪费。这个定位在引言的最后一段写得很清楚：噪声样本不是垃圾，它们只是没有可信标签的有价值数据。
2. 方法部分翻译与逐段拆解：Divide阶段与Mix阶段
方法名DivideMix，一看就知道是两个动作的组合：Divide负责划分，Mix负责训练。这一章我按原论文的记号和方法细节逐部分翻译，并配合我在复现时对每个设计的理解。
2.1 问题设定与符号说明
原论文把训练集记为 (X = {(x_i, \tilde{y}i)}{i=1}^n)，其中 (\tilde{y}_i) 是带噪标签，不一定是真实标签 (y_i)。目标是从这样的数据里学到一个分类器，使得它在干净测试集上的泛化能力接近用干净标签训练的结果。
在每次迭代开始，模型需要对每个训练样本计算一个损失值。DivideMix在这个阶段统一使用模型预测与原始标签的交叉熵： [ L_i = -\sum_{c} [\tilde{y}i = c] \log p{\theta}(c | x_i) ] 这个损失值就是后续划分的唯一依据。之所以用损失而不是直接看预测概率，是因为损失天然包含了"模型对当前标签的确认程度"，标签错误且被模型识别的样本，损失会明显偏高。
真正实现时有一个细节：损失值需要做归一化再送入GMM。原论文用min-max归一化： [ L_i^{\text{norm}} = \frac{L_i - \min_j L_j}{\max_j L_j - \min_j L_j} ] 原因很实际：随着训练进行，损失的绝对尺度会不断下降，如果不归一化，某一个epoch里GMM拟合出的"均值差"就只对当前尺度有效，换一个epoch尺度又变了。归一化后的损失尺度始终在0到1之间，GMM的参数才更稳定。
2.2 Divide：用GMM拟合损失分布，为每个样本打噪声概率
这是整个方法最关键的直觉：干净样本和噪声样本的损失值呈现出两种不同的分布。干净样本的损失集中在较小的值附近，噪声样本由于标签不一致，损失整体偏高且更分散。于是原论文用一个两分量高斯混合模型去拟合全体样本的归一化损失： [ p(L_i) = \alpha_1 \mathcal{N}(L_i; \mu_1, \sigma_1) + \alpha_2 \mathcal{N}(L_i; \mu_2, \sigma_2) ] 拟合完成后，两个高斯分量分别对应干净集和噪声集。这里需要做一个分量顺序的约定：由于整个训练过程中，干净分量总体上都应当集中在更小的损失区间，因此可以按照均值大小来判断哪个分量是干净分量——均值更小的分量是干净分量，另一个是噪声分量。根据贝叶斯后验，每个样本属于噪声分量的概率为： [ w_i = P(\text{noise分量} | L_i) = \frac{\alpha_{\text{noise}} \mathcal{N}(L_i; \mu_{\text{noise}}, \sigma_{\text{noise}})}{\sum_{m=1}^2 \alpha_m \mathcal{N}(L_i; \mu_m, \sigma_m)} ] 然后以 (w_i < 0.5) 作为阈值，把样本划分为干净集和噪声集。
我一开始对这种做法的疑虑是：GMM太简单了吧？为什么不直接设定一个卡在损失排序90%位置的分位数？后来实验告诉我，GMM的优势在于自适应。噪声率低时，噪声分量占比小；噪声率高时，噪声分量占比大，GMM能自动调整两个分量的混合系数和均值位置，不用人工调阈值。并且，GMM给出的不是一刀切，而是连续的概率 (w_i)，这个概率在co-divide阶段和生成伪标签阶段都用得上。
2.3 两网络co-divide：互相给对方划分数据集合
为了解决单一模型自我确认偏差的问题，DivideMix同时维护两个网络，记为A和B。两个网络结构相同，但初始化不同、每个batch的shuffle顺序不同，因此它们犯错的方式也会有一定差异。
在每个epoch开始时，网络A先对全体样本计算损失并拟合GMM，得到概率 (w_A)；网络B也做同样的事，得到 (w_B)。co-divide的核心操作是把两个概率平均： [ w = \frac{w_A + w_B}{2} ] 再用平均后的 (w) 去划分干净集和噪声集。为什么取平均而不是取交集或并集？因为单个网络可能在某些样本上过度自信或过度怀疑，取平均相当于让两个网络对分歧样本互相修正，降低划分的方差。如果取交集，得到的安全集很小，数据利用效率低；取并集，噪声污染率又会上升。
更重要的是训练阶段的交叉：原论文和开源实现里，网络A不是用自己划分的结果训练自己，而是用网络B划分的结果以及网络B生成的信息来做自训练。反过来，网络B用网络A的结果。这种"你划分我训练、我划分你训练"的方式，避免了模型对自己的错误预测进行自我确认。
我在复现时一度觉得这个设计有点绕，但它其实就是协同教学思想的延续。单个模型最怕的情况是：在早期epoch把某个错误标签当真，越往后越坚信，最终无法纠正。两个模型互相给对方划分，即便A产生了错误偏置，B的划分结果还提供了一条纠偏路径。
2.4 Mix：MixMatch把两堆样本合并训练
划分完成后，数据集被分成两部分：干净集 (X_L) 保留原始标签，噪声集 (X_U) 不保留原始标签，而是作为"无标签"数据参与训练。DivideMix在这里直接嫁接MixMatch的半监督训练流程，因此叫Mix阶段。
MixMatch做的事情可以概括为三个步骤。第一步，对无标签样本做弱增强和强增强，分别送入模型得到预测分布，然后对多个增强视图的预测做平均，得到伪标签的"雏形"。第二步，用温度锐化让这个分布变得更尖、更自信： [ \hat{p}_u = \operatorname{Softmax}\left(\frac{z_u}{T}\right) ] 其中 (T) 是锐化温度，(T) 越小，预测分布越接近one-hot。第三步，把有标签样本和无标签样本混合起来做MixUp： [ \tilde{x} = \lambda x_1 + (1 - \lambda) x_2,\quad \tilde{y} = \lambda y_1 + (1 - \lambda) y_2,\quad \lambda \sim \operatorname{Beta}(\alpha, \alpha) ]
这里要注意一个细节：MixMatch原本是为标准半监督设置的，即所有有标签样本都可靠。而DivideMix里的"有标签"部分只包含划分出的干净样本，因此数量更少、整体规模更波动。无标签部分既包含原始噪声样本，也可能混入少量被误分的干净样本。对这少部分误分样本来说，原始标签被弃用，改成伪标签，反而可能纠正了原来的标签错误。
伪标签的生成方式在实现上有讲究。训练网络A时，噪声样本的伪标签来自网络B在当前batch上的预测结果；反过来亦然。如果让A自己给自己生成伪标签，模型会把前几个epoch的错误判断固化下来，等于把一个坏的预测当成目标去逼近。用对方的预测来生成目标，等于在两个网络之间建立了一道"信息隔离"。
2.5 完整训练循环与损失函数
整个训练循环可以整理成伪代码。需要说明的是，我这里的写法以原论文的开源实现为基准做了提炼，如果你去看源码，细节会更多，但主干是一致的。
# 伪代码：DivideMix一个epoch的主循环 for epoch in range(total_epochs): # 1. 计算两个网络的样本损失 lossA = [CE_loss(netA(x_i), y_i) for x_i, y_i in all_data] lossB = [CE_loss(netB(x_i), y_i) for x_i, y_i in all_data] # 2. 归一化损失，分别拟合GMM wA = fit_gmm_and_get_noise_prob(lossA) # 均值小分量=干净 wB = fit_gmm_and_get_noise_prob(lossB) # 3. co-divide：两网络概率取平均 w = 0.5 * (wA + wB) # 4. 按 w < 0.5 划分干净集 X_L，其余作为无标签集 X_U X_L, X_U = divide_dataset(w) # 5. 训练阶段：netA用netB的输出，netB用netA的输出 for batch in mixed_batches: # 干净样本：使用原始标签计算监督损失 # 噪声样本：使用对方网络预测+锐化生成伪标签，计算一致性损失 loss_A = supervised_loss(netA, labeled) + lambda_u * consistency_loss(netA, unlabeled, pseudo_from_B) loss_B = supervised_loss(netB, labeled) + lambda_u * consistency_loss(netB, unlabeled, pseudo_from_A) update(netA, loss_A) update(netB, loss_B)损失函数整体上分为两半。有标签部分使用标准的交叉熵： [ \mathcal{L}x = -\frac{1}{|B_L|} \sum{x \in B_L} \tilde{y} \log p(x) ] 无标签部分使用预测分布与伪标签分布之间的均方误差： [ \mathcal{L}u = \frac{1}{|B_U|} \sum{x \in B_U} | p(x) - \hat{p}_u |^2 ] 最终损失： [ \mathcal{L} = \mathcal{L}_x + \lambda_u \mathcal{L}_u ] (\lambda_u) 是无监督损失的权重。原论文在实验中会针对不同噪声环境做调整，通常取0到1之间的值，高噪声率时适当增大。
为什么无标签部分用MSE而非交叉熵？因为伪标签分布本身是锐化过的soft标签，并不等价于真实one-hot标签，用交叉熵会强迫模型"完全自信"，反而容易在伪标签错误时造成过度拟合。MSE则允许模型对一个样本输出相对温和的分布，容错性更好。
2.6 原文里容易被忽略的两个实现细节
第一个是warmup阶段。模型在一开始如果没有基本判别能力，损失分布是彼此重叠的，GMM很难划分出有意义的分量。因此实际训练会在正式的Div-Mix循环之前，先在原始带噪数据上做若干轮预训练，让模型具备一个还算可以的特征表示。等损失分布拉开后，再开始GMM划分。我复现时warmup的长度很敏感：太短，划分噪声大；太长，模型已经开始记忆错误标签。参考常见配置，在合成噪声数据集上warmup一般设在10到30个epoch之间，结合验证集表现来定。
第二个是划分频率。GMM不是每个batch都重新拟合，而是每个epoch结束、下一个epoch开始时，一次性对全体训练样本计算损失并完成划分。也就是说，一个epoch内，所有batch共享同一份划分结果。如果每个batch都重新划分，成本太高，而且batch太小的话，损失分布根本不够撑起两个高斯分量。全体样本的跨度，才能让GMM拟合出稳定的两个峰。
3. 实验部分翻译：合成噪声、真实噪声和消融实验告诉我们什么
3.1 合成噪声实验：在高噪声率下依然稳
原论文的实验起点是合成噪声基准，即在干净数据上按照一定比例随机替换标签。常用的几档是：对称噪声20%、40%、60%、80%、90%，以及非对称噪声40%。所谓对称噪声，是标签以相等概率被替换成其他任意类别；非对称噪声则是只在容易混淆的类别间替换，更接近真实世界的人工标注错误。
在低噪声率（20%至40%）下，很多方法都能取得不错的效果，DivideMix的优势不算特别夸张。但随着噪声率上升到80%、90%，普通方法出现明显的性能崩塌，而DivideMix的准确率下降幅度要平缓得多。这说明GMM加MixMatch的组合，在极高噪声率下已经不是"微调有效"，而是"结构性抗噪"。
我当时对这种结果的疑问是：90%噪声率下，干净样本只剩10%，这点有标注信息够用吗？实验给出的答案是：够。因为半监督部分并不依赖可靠标签的数量，它依赖的是大量无标签样本本身的分布信息。只要划分器能保证那10%干净样本大部分被正确划入有标签集，MixMatch就能用一致性正则撬动剩余的90%样本。
3.2 真实噪声实验：爬下来的脏数据也能用
合成噪声实验再漂亮，也解决不了一个质疑：真实世界的标签噪声不是完全对称的随机替换。为此原论文特意在两类真实场景上做了验证。
第一类是从网络上自动爬取的图像数据，标注过程非常粗糙，标签噪声是自然形成的、非对称的，而且类别分布极不均衡。这类数据不仅噪声率高，还有些样本本身就是错图、漏图，挑战比合成噪声大得多。第二类是工业界常见的大规模商品图像数据，比如服装图像分类场景，标注来源复杂，标签错误比例较高，同时类别之间视觉差异很小。
实验结果显示，DivideMix在真实场景下的提升幅度甚至高于合成噪声场景。我的理解是：真实噪声往往不是完全随机的，很多错误标签其实是"近类混淆"。模型在训练初期就能更好地识别这类样本的损失偏大，GMM能把这种系统性的近类错误识别出来。而MixMatch的伪标签机制，本质上等于允许模型"反悔"——原始标签一旦被判为噪声，就用模型自己学到特征生成新标签，正好对冲近类混淆。
3.3 消融实验：每个模块到底贡献了多少
原论文做了系统性的消融来证明三个关键设计缺一不可。
第一组是去掉GMM、退回固定阈值划分。结果显示准确率明显下降，尤其在训练初期和噪声率变化时，固定阈值无法同时兼顾低噪声率与高噪声率。原因前面说过：损失分布是动态的，GMM的自动拟合相当于一直在帮你重新校准阈值，固定阈值做不到这一点。
第二组是去掉co-divide，只用一个网络自己划分、自己训练。这种情况下，低噪声率还可以，高噪声率时模型容易陷入误判的恶性循环：网络先错划了一批样本，然后拿错划结果去训练自己，错误被逐步放大。两个网络互相划分，等于在数据划分阶段引入了校验机制。
第三组是去掉MixMatch，退化成普通的小损失样本选择加自训练。效果也下降不少。原因是半监督部分的锐化和MixUp不仅是为了利用无标签样本，还起到了正则化作用，让模型对错误伪标签不那么敏感。
3.4 实验设定的细节
原论文的实验配置有几个地方值得单独拿出来看。优化器用的是带动量的SGD，配合余弦退火学习率调度，权重衰减设得不重。数据增强方面，除了常见的随机裁剪和水平翻转，还用了类似Cutout的遮挡增强，和MixMatch原论文的增强策略保持一致。这些细节在复现时都不建议随意改动，因为MixMatch对增强强度非常敏感。
另外，两个网络在训练过程中没有做任何显式的参数差异性约束，只是靠不同的随机种子和不同的batch顺序来制造差异。这个设计看起来简单，但实际效果很好。如果强行加入一个"鼓励两网络预测不一致"的正则项，反而容易让模型刻意分化，影响泛化。
4. 复现DivideMix时的几个关键决策与常见弯路
这一章不是论文正文的翻译，而是我基于复现和改造经验做的补充。网上已经有不少开源的复现版本，但你直接用的时候还是会踩到一些文档里不会写的坑。
4.1 GMM拟合频率与初始化
最容易被忽略的是GMM的初始化。直接调用现成的高斯混合模型工具包做拟合，默认的初始化方式可能不稳定，不同epoch跑出来的划分结果方差会很大。稳妥的做法是：每次拟合前，手动对分量的均值顺序做约束。先保证均值较小的分量是干净分量，再对该分量做较充分的初始化，否则偶尔会出现两个分量的标签互换，导致整个epoch的划分方向反了。
拟合频率上，每个epoch一次是默认选择。我试过每个epoch拟合两次（比如在小batch上再校正一次），性能几乎没有提升，反而增加了额外耗时。还有一个细节：GMM是对全体训练样本的损失拟合，不是对每个batch单独拟合。batch太小，损失分布是锯齿状的，两个高斯分量很容易拟合到同一团数据里。
4.2 锐化温度与无监督损失的权重
锐化温度 (T) 直接影响伪标签的置信度。(T) 太大，伪标签分布太平滑，模型学不到锐利的分类边界；(T) 太小，伪标签接近硬标签，一旦错误，模型会快速过拟合到错误分布。常见的范围是0.5到2之间。我自己的经验是：在噪声率较高时，稍微降低 (T) 可以帮助模型保持自信；在噪声率较低时，稍微提高 (T) 反而更稳。
无监督损失权重 (\lambda_u) 也有类似的规律。太高会让模型完全跟着伪标签走，忽略了有限的干净标签；太低则等价于普通自训练，半监督的增益被削弱。原论文在不同实验里给的并不是同一个固定值，复现时最好保留这个超参数作为一个自由变量，用一小部分验证集做挑选。
4.3 双网络的伪标签来源：为什么不能自产自销
我自己改造时犯过一个错误：图省事，把A网络自己的预测当成无标签样本的伪标签来源。结果前几个epoch看起来很正常，到了中期准确率突然掉一截。原因就是自我确认偏差被逐步放大。A网络一旦在某个类别上产生了偏置，自己给自己生成目标时会对偏置视而不见，最终陷入局部最优。
改成从B网络拿伪标签之后，问题立刻缓解。这说明DivideMix的co-train并不只是工程上的冗余，而是算法层面切断错误累积的机制。如果你只想要单模型部署，训练完A和B后可以直接对一个模型做测试，另一套网络在推理时丢弃即可。
4.4 训练稳定性的常见问题
我在多个数据集上跑下来，最大的不稳定因素来自warmup阶段和批次采样。warmup阶段的损失如果太大，说明学习率过高，GMM在第一个正式epoch就会无法收敛；warmup阶段如果完全不做，GMM一开始拟合出的两个分量几乎没有区分度，干净集和噪声集基本是随机划分。
批次采样方面，有标签集和无标签集最好以固定比例混合到一个batch里。如果直接在有标签集和无标签集上分别计算损失再相加，梯度更新会被两边的batch大小差异带偏。实际实现里，可以在构建batch时确保有标签样本和无标签样本数量大致相等，混合后进行MixUp，整体走MixMatch的流程。
另一个常被忽略的点是数据增强的一致性。半监督部分依赖同一样本在不同增强下的预测一致性。如果对无标签样本做太强的增强，比如大面积的裁剪加上Cutout，模型可能根本无法在两个视图之间保持一致的语义，伪标签本身就变得不可靠。因此，无标签样本的增强强度通常要低于有标签样本，或者至少保持在同一量级。
5. 我个人实践里的额外体会
最后说一点不太容易被论文原创者写进去、但实操时很有用的经验。
首先，DivideMix对验证集的使用比一般方法更依赖。因为训练过程中存在'划分错误'和'伪标签错误'的双重不确定性，验证集几乎是你唯一可以判断当前epoch是否健康的手段。我建议每训练几个epoch记录一次干净集和噪声集的规模变化：如果干净集比例迅速下降，说明模型开始把越来越多的样本判为噪声，划分信号正在失效；如果噪声集比例过高，则要检查GMM是否出现了分量翻转。
其次，当你把DivideMix迁移到自己的新数据集时，不要一上来就照着原论文的超参数跑。数据集类别数、噪声类型、样本总数都会影响最佳warmup长度和 (\lambda_u)。一个比较省事的策略是：先在原噪声比例上跑一小组网格，只调warmup、(T)、(\lambda_u) 三个参数。把这三个参数稳定住，后面的性能基本就定型了。
还有一个小技巧和标签分布有关。原论文在做GMM拟合前，会把损失归一化到0到1之间。如果你的数据集里某些类别本身特别难学，损失整体大，模型公平性会受干扰。我试过在归一化前按类别做一次标准化，相当于先剔除类别难易差异再划分噪声，在细分类任务上会稍好一些。这属于对原方法的微调，原论文里没有写，但实现成本很低，值得试试。
关于"噪声样本可能包含有价值信息"这件事，我现在的体会比刚读论文时深得多。很多清洗方法倾向于直接丢弃噪声样本，看起来更干净，实际上损失了大量数据分布信息。DivideMix给出的路径是：不要把噪声样本当作垃圾，而是给它们一个重新被理解的机会。伪标签这个机制虽然看起来简单，但它把"放弃"变成了"再试一次"。在一个标注质量无法保证、但数据量很大的真实业务环境里，这种思路比任何人工清洗规则都更符合实际。
