在线弃权学习：让模型在没把握时学会“闭嘴”

去年我接手一套内容审核模块时，踩了一个特别典型的坑：模型对一个争议文本给出"通过"的概率只有0.53，系统还是硬着头皮自动放行，结果引发了一轮不小的线上投诉。后来我才意识到，在很多线上预测场景里，模型真正需要的不是"永远给答案"，而是"知道自己什么时候该闭嘴"。这正是在线弃权学习（online learning with abstention）讨论的问题——在每一轮预测中，允许学习器选择"不预测"，并为这个选择付出一个固定的小代价。它解决的问题非常直接：模型没把握的时候，与其强行输出一个答案，不如把样本留给后续人工或更可靠的进程。这篇文章适合做在线预测、风控审核、推荐系统、辅助诊断的工程师阅读，也适合刚接触在线学习理论、想知道"弃权"这个动作在理论上如何建模的同学。我尽量把损失设计、遗憾定义、算法实现和工程中的坑都串起来讲。

1. 弃权不是认怂：在线预测中的"第三种答案"

1.1 从批量到在线：弃权的意义为什么变了

很多人第一次听到"弃权学习"会下意识觉得，这不就是分类器里常见的拒绝选项（reject option）吗？确实，批量学习中早就有类似玩法：训练好模型后，遇到置信度低的样本就不给结论，转交给人工处理。但在批量场景里，模型是拿完整数据集一次性训练出来的，评估也是离线完成的，错一批样本顶多回头重新训练一版，迭代节奏相对从容。在线场景则完全不同。

在线学习里，样本是一轮一轮到达的，模型必须边看边学，今天预测完明天才知道结果，数据分布还随时可能漂移。这个时候"弃权"不再只是模型能力不足的补救措施，而是整体决策系统主动管理不确定性的一种杠杆。你不可能暂停线上服务去重新训练模型，但你可以决定当前这一单到底要不要由模型来扛。弃权相当于把风险转移给更擅长处理不确定性的环节——人工审核、二次验证、或者等待更多上下文信息。这是一种控制问题的方式，而不只是"认错"。

1.2 一次决策的三个分支：正确、错误和"不确定"

没有弃权时，一次预测是二分支的：对了或者错了。加入弃权后，变成三分支：预测正确、预测错误、本轮不预测。这就带来一个新的设计问题：损失函数不再是"对0分、错1分"，而是必须给"弃权"也定一个代价。

我习惯用一个生活化的类比来理解这个结构。外卖骑手遇到一个定位不准的地址，如果硬送，大概率送错、被差评；如果提前打电话联系顾客确认，虽然多花几十秒时间，但整体体验更好。这里"打电话确认"就是弃权动作，花费的时间就是弃权代价。它不是最优解，但它是比盲目行动更稳的选项。在线弃权学习的核心，就是在每一轮决定：这一单是直接预测，还是掏钱买一个"不确定"。

1.3 哪些场景真正需要"不确定"这个按钮

不是所有任务都需要弃权能力。一个给电影打分的推荐系统，偶尔推错一部片子，代价很小，没必要动不动弃权。但以下场景，一次错误预测的代价可能远高于弃权成本：

• 内容安全审核：一条判定错误的文本可能带来严重负面影响，宁可不自动处理，转人工。
• 金融风险控制：一笔可疑交易，模型没有足够把握时，拒绝自动通过并进入人工复核，远比误放行安全。
• 医疗辅助诊断：影像模型看到一个模棱两可的区域，建议"请医生复查"比强行给结论靠谱得多。
• 智能客服仲裁：机器人无法判断用户意图时，主动转人工，避免对话陷入僵局。

这些场景的共同点是：弃权不仅仅是被允许的，甚至是被业务规则强烈鼓励的。所以问题不是"要不要弃权"，而是"在哪些时刻弃权、每轮弃权的代价怎么量化"。

2. 把"弃权不比犯错差多少"翻译成数学

2.1 损失函数的三档设计

要让学习器学会弃权，首先得告诉它"弃权到底值多少钱"。标准的在线弃权学习设定里，损失函数分三档：

α 的含义要理解透。它不是随便拍出来的数字，而是"一次弃权操作的平均实际成本"占"一次错误预测成本"的比例。如果你的人工审核每单成本是10元，而一次模型误判造成的平均损失是100元，那么 α 大致是0.1。如果一次误判会导致很严重的后果，而人工复核很便宜，那么 α 就可能低到0.02。反过来，如果人工资源非常紧张，每次转人工都会造成队列拥堵，α 就得调高。

为什么通常要求 α < 1/2？因为在两类问题里，随机猜测的期望错误率恰好是1/2。如果 α ≥ 1/2，那么弃权并没有比瞎猜更好，学习器完全可以靠乱猜来"假装努力"，弃权机制就失去意义了。当然，这只是理论上的参考线，实际业务里 α 完全可以大于1/2，只要你明确知道人工处理一次比模型错一次更贵——但那样的话，放心大胆预测可能反而是更优策略。

2.2 遗憾的定义：和谁比才公平

在线学习理论里最重要的指标是遗憾（regret），简单说就是：你的累计损失，减去某个"参照物"的累计损失。在弃权设定里，参照物怎么选，直接决定整个问题是否合理。

最公平也最常用的做法是：允许参照的固定策略也具备弃权能力。也就是说，它看过完整序列后，可以决定某些轮次预测、某些轮次弃权。这样一个"开卷考试的标准答案"才公平。学习器则不一样，它得在线实时做决定：这一轮是预测还是弃权，预测谁，弃权的话就掏 α。

我常用一个比喻：考场上你是按顺序一题一题作答的，而标准答案是在整张卷子批改完之后才揭晓的。你的目标不是每道题都做对，而是最终总分尽量接近那个"知道所有答案后回头打分"的参照对象。在弃权学习里，标准答案可以在某些题上写"放弃"，而你需要实时决定要不要跟着放弃。

2.3 阈值和α如何联动：一个简单的理论切入点

经典拒绝规则告诉我们，最优的弃权决策往往落在"置信度阈值"上。以两类问题为例，假设你的模型估计当前样本属于类别1的概率是 p，那么你当前的把握程度就是 max(p, 1-p)。预测这个类别的期望损失是 1 - max(p, 1-p)。当这个期望损失大于弃权代价 α 时，理性的选择就是弃权。

整理一下就得到判别规则：当 max(p, 1-p) < 1 - α 时弃权，否则预测置信度最高的那个类别。换句话说，置信度阈值不是拍脑袋定的，它和 α 之间有着直接的换算关系。α 越大，阈值越低，模型越敢于直接预测；α 越小，阈值越高，模型越倾向弃权。这个公式让我在工程里很少再纠结"阈值为什么取0.7"这种问题：先把业务侧的 α 估出来，阈值自然就推出来了。

3. 算法怎么决定"闭嘴"：从置信度阈值到在线决策

3.1 最朴素的方案：在线模型加固定阈值

把在线弃权学习落地到系统里，最自然的第一步是在标准在线分类器之上加一个阈值判断。每一轮照常用在线梯度下降或者类似算法维护模型参数，得到当前样本的各类得分，归一化成置信度；置信度低于预先设定的阈值就弃权。优点是改动非常小，相当于给已有模型套了一个壳。

但这个方案有一个隐患，也是我实际踩过的坑：模型的原始输出分数并不天然等于概率。如果分数没有经过校准，阈值就像在拿温度和长度比大小。你设0.6，可能实际上过滤掉的是很多"其实很有把握却被压低估"的样本，而真正该弃权的模糊样本反而分数虚高。所以固定阈值方案必须搭配概率校准，否则别急着看效果。

3.2 一个可复现的伪代码

我给出一个能直接动手改的框架，核心是"基础在线分类器 + 阈值选择器"：

输入： 在线分类器 A（例如在线梯度下降法） 类别数 K 候选阈值集合 T = {0.50, 0.55, 0.60, ..., 0.90} 弃权损失 alpha 初始化： 对每个阈值 tau in T，维护累积损失 L[tau] = 0 模型参数 w_1 for t = 1, 2, ..., T： 接收样本 x_t 用当前参数 w_t 计算各类得分 s_t 估计后验概率 p_t = softmax(s_t) m_t = max(p_t) # 第一步：根据历史表现选择本轮阈值 tau_t = argmin_{tau in T} L[tau] if m_t < tau_t: 输出：弃权 实际损失 = alpha # 如果拿不到真实标签，就不更新模型 对所有 tau in T：L[tau] += alpha else: y_hat = argmax(p_t) 输出：y_hat 观察真实标签 y_t 损失 = 0 如果 y_hat == y_t，否则 1 对所有 tau in T：L[tau] += 损失 更新 w_{t+1} = A(w_t, x_t, y_t)

细节上有一个值得商榷的点：弃权时到底要不要更新模型参数。我的建议是，在没有拿到人工复核标签之前一律不更新。原因是弃权样本本身就代表模型把握不足，用可能错误的信息去更新，容易让参数被带偏。如果后续人工确实标了标签，那时候再补一次更新会更稳。这个思路在业务上也说得通：你不可能让模型消费还没有沉淀的数据。

3.3 阈值固定还是动态调整

固定阈值实现简单，但数据分布一旦漂移，原来合理的阈值会逐渐失效。我在一个审核系统里就遇到过：上线两周后，原本只弃权5%的样本突然变成弃权20%，人工队列瞬间被塞爆。原因不是模型变差了，而是输入分布变了，置信度整体下降。

要应对漂移，可以把阈值本身也当作一个在线学习问题。做法就是我上面伪代码里展示的思路：准备一组候选阈值，每个候选维护自己的累积损失，然后用"追效果最好的那个"策略来选择本轮阈值。这本质上是把"选阈值"变成了一个多臂老虎机问题。初始化时如果完全不知道哪个阈值好，可以给每个候选加上一点探索权重，不要一上来就死死锁定在历史最优上。

动态阈值比固定阈值多了一个维度的复杂度，但换来的好处是系统对分布变化更敏感。如果业务上能接受偶尔的波动，我反而推荐直接用动态方案，毕竟在一个已经在线更新的系统里，多维护一组累计损失的成本并不高。

4. 理论保证的边界：遗憾界告诉我们的和没告诉我们的

4.1 遗憾界：O(√T) 为什么在这里依然成立

很多同学关心的问题是：加了弃权之后，在线学习理论里经典的 O(√T) 遗憾界还能不能保住？答案是能，前提是你比较的参照策略同样允许弃权。

直观逻辑并不复杂。假设你的基础在线分类器本身有不弃权情况下的 regret 上界，比如 O(√T)。现在加入弃权后，序列被分成了"预测轮"和"弃权轮"。在预测轮里，你的行为等价于基础学习器，损失差异可以被基础学习器的 regret 界吸收；在弃权轮里，你的损失恒定为 α，而参照策略无论选择弃权还是预测，它的损失要么是 α、要么是大于 α 的错误损失，所以差值最多是一个每轮有界的常数。把这两部分叠加起来，增长阶数依然是 O(√T)，只是常数项变大了。

这个结论在实际中的意义是：弃权的加入不会破坏在线学习的收敛性。你不需要担心"模型会不会因为动不动就弃权而失去学习能力"，因为弃权轮的损失也被纳入了同一个遗憾框架。

4.2 最优拒绝规则与在线转换

经典拒绝规则的结论今天依然有用。在两类问题中，上一节提到的最优策略是：当置信度低于 1-α 时弃权。这个规则本质上是一个贝叶斯最优决策：给定后验概率，比较"预测带来的期望损失"和"弃权损失的固定值"，选择更小的那个。它简单、可解释、也容易落地。

多分类场景下，类似的原则一样适用，只是要稍微小心一点。一个常用的近似是只看最大后验概率 p_max：如果 p_max < 1-α 就弃权。这个近似忽略了一些类别间边界的情况，但对于大部分工程场景已经足够。如果追求更严谨，就得对所有类别的期望损失做完整比较，复杂度会上升不少，实际收益通常不明显。

理论到在线场景的转换，关键点在于：后验概率是估计出来的，不是天上掉下来的。如果模型概率估计有偏，最优拒绝规则的漂亮结论就会变成废纸。这就是为什么我反复强调校准的重要性，它是理论落地和工程实践之间的第一座桥。

4.3 遗憾界不告诉你的三件事

学习理论的结论很容易被过度解读，我在这里给预期管理一下：

• 遗憾界是平均意义，不是最坏单次。即便整体 regret 很小，也可能在某个阶段连续翻车。线上部署时必须留有余量，不能拿 O(√T) 当安全承诺。
• α 到底取多少，理论不管，业务说了算。α 是对"人工审核流程成本"的量化，它取决于排队长度、审核员效率、误判带来的连锁反应。这个数必须在业务侧估，不能闭门造车。
• 弃权预算问题。多数设定里，理论上允许无限弃权，只付出 α 代价。但现实里人工资源有限，不可能每轮都弃权。带预算约束的弃权学习，分析起来比无预算版本难得多，目前也没有特别通用的工程做法。如果你的业务对弃权频率有硬上限，就要小心把无预算理论直接搬到线上。

5. 踩过的坑和一次可复现的实验记录

5.1 坑一：置信度没校准前，阈值就是摆设

最早做实验时，我直接在模型输出的 logits 上做 softmax，然后把阈值设成0.6，心想置信度0.6以上总不至于太离谱。结果一看弃权集合，里面混着大量"模型其实很自信但自信错了"的样本，弃权率很高，错误率却没降下来多少。

原因典型：模型过拟合、分数整体虚高，softmax 输出被拉得很尖锐。0.6 这个数值落在一个毫无意义的尺度上。我后来在验证集上做了最简单的一项式温标校准，就是引入一个温度参数 T，把 logits 除以 T 后再做 softmax，让模型整体置信度回归到和经验准确率匹配的水平。做完之后再重新梳理阈值，弃权才真正开始过滤错误样本。

操作建议：上线弃权逻辑前，先画出校准曲线（校准度可靠性图）。如果曲线对角线偏离严重，先做校准，再谈阈值。不要相信未校准模型给出的任何置信度数字。

5.2 坑二：静态阈值打不过数据漂移

固定阈值方案上线初期效果不错，弃权率稳定在5%左右。但两周之后，数据分布悄悄变了，弃权率飙升到20%，人工审核队列排起长队，业务方直接找我投诉。问题不在于模型能力下降了，而是分布漂移导致整体置信度下移，原本合理的阈值条件变得过于苛刻。

后来我做了两件事。第一，把静态阈值改成动态阈值选择器，用上一节伪代码里的累积损失机制实时调整。第二，把"错误率-覆盖率曲线"设成线上监控指标，每周观察一次曲线形态，一旦出现明显偏移就触发重新校准。这两步之后，弃权率回到可控范围，模型在漂移场景下的表现也不再是"盲人骑瞎马"。

5.3 一次模拟实验的思路和结果解读

如果你想快速验证在线弃权学习的价值，我推荐一个可复现的模拟实验设定。生成二分类数据，两类样本分别服从两个有一定重叠的高斯分布，模拟数据按时间片流入。基础模型用在线梯度下降法训练，比较三种方案：永不弃权、固定阈值0.6、动态阈值选择器。每轮记录真实标签，累加损失，最后看整体指标。

注意，上表数值只是示意，真实结果取决于数据和噪声水平，但相对趋势有参考价值：引入弃权后，错误率明显下降；动态阈值在错误率和弃权率之间做到了更精细的权衡。如果把 α 设为0.2，动态方案累积损失约781，低于固定阈值的约829，更显著低于永不弃权的1280。这个差距就是弃权机制带来的真实收益。

我在实际使用中最大的体会是，在线弃权学习不是一个让模型"变得更聪明"的技巧，而是给整个决策系统装了一个安全阀。它逼你想清楚一件事：一次错误预测和一次"我不确定"，到底各自值多少钱。很多团队愿意花大力气把模型准确率从97%提升到97.5%，却不愿意给系统一个说"不知道"的选项，在我看来这是投资回报率很低的选择。如果你手头也有一个天天硬着头皮猜答案的在线模型，不妨先别急着堆特征、换网络，给它装一个弃权按钮，画一画错误率和弃权率的关系曲线，大概率会打开一个全新的调优视角。