Human-in-the-loop实战：用置信度与主动学习构建人机协同的文本分类系统

大家好，今天想和你聊一个在机器学习和 AI 工程里越来越重要的话题：Human-in-the-loop（人在回路）。很多人一开始接触机器学习时，都希望模型能全自动搞定一切，但真正上过线、跑过生产环境的同学会慢慢发现：纯自动化在大多数业务场景里并不现实，反而引入适当的人工参与，能显著提升模型质量、降低风险和成本。

这篇文章会从概念讲起，再拆解人机回环的核心设计思路，最后用一个完整的文本分类案例，演示如何在 Python 工程里实现“模型先预测 -> 不确定样本交给人工 -> 人工反馈回流模型”的闭环。文章偏实战，代码可以直接复制运行，新手也能跟着一步步搭起来。

1. 背景与核心概念

1.1 什么是 Human-in-the-loop

先看一个直观的场景。假设你负责一个电商评论审核系统，需要判断每条评论是“好评”“差评”还是“中性”。最简单的做法是训练一个分类模型，把所有评论自动分类。但模型不可能 100% 准确，尤其在遇到反讽、方言、行业黑话时，预测结果往往不可靠。

于是我们换一种思路：模型先对每条评论给出预测，并输出一个“置信度”。置信度高的样本直接采用，置信度低的样本进入人工审核队列，由审核员判断。审核员修正后的标签重新入库，下一轮训练时继续优化模型。这就是一个典型的 Human-in-the-loop 流程。

用更专业的说法，Human-in-the-loop 是一种将人类判断和机器学习模型结合的工作模式。人类不是被完全替代，而是参与模型生命周期中的关键节点，比如数据标注、异常样本审核、预测结果复核、模型更新决策等。

1.2 为什么要引入人工环节

很多业务场景无法做到“全自动”，核心原因有几点：

• 标注数据稀缺：高质量标注成本极高，全部人工标注不现实，纯主动学习又没有反馈通路。
• 长尾分布严重：模型对高频模式很擅长，但低频、新出现的情况容易出错，需要人工兜底。
• 风险容忍度低：金融风控、医疗诊断、法律文书等领域，错误预测代价太高，必须保留人工复核环节。
• 模型会漂移：业务环境变化后，模型效果随时间下降，需要人工反馈来持续校正。

所以 Human-in-the-loop 并不代表“技术落后”，反而是生产级 AI 系统里常见的高可靠性设计。

1.3 它和自动化 ML 的关系

这里容易混淆两个概念。传统自动化 ML 强调的是“自动调参、自动选模型、自动训练”，目标是减少人力参与；而 Human-in-the-loop 强调的是“在关键决策点保留人工干预”，二者并不矛盾。实际工程中，你完全可以先用 AutoML 训练一个初始模型，再围绕模型搭建人工审核和反馈闭环。

我们可以用一张表格快速区分：

在实际项目中，两者经常会结合使用。

2. 环境准备与版本说明

2.1 运行环境

本文的示例代码使用 Python 编写，核心依赖是 scikit-learn 和 pandas。版本上不必过度纠结，只要保证 Python 3.8 以上，scikit-learn 1.0 以上即可。如果你用的版本较新，接口一般不会有破坏性变化。

可以先用命令创建虚拟环境：

mkdir human-in-the-loop-demo cd human-in-the-loop-demo python -m venv venv source venv/bin/activate

Windows 下激活命令改为：

venv\Scripts\activate

建议安装这些依赖：

pip install scikit-learn pandas numpy

如果你希望后面可视化置信度分布，可以加装 matplotlib：

pip install matplotlib

2.2 项目结构

为了让流程更清晰，我们按下面的结构组织代码：

human-in-the-loop-demo/ ├── data/ │ └── sample_reviews.csv ├── human_loop/ │ ├── __init__.py │ ├── data_loader.py │ ├── model.py │ ├── sampler.py │ └── review_workflow.py ├── run_demo.py └── README.md

如果你的项目比较小，也可以只写一个单文件脚本。这里拆分成多个模块，主要是为了演示真实工程中的分层设计。

3. 核心原理拆解

3.1 人机回环的整体流程

一个标准的人机回环系统通常包含以下环节：

1. 训练初始模型：用现有少量标注数据训练一个基础模型。
2. 批量预测与置信度评估：模型对新的未标注样本进行预测，同时输出置信度。
3. 自动决策与人工采样：置信度高于阈值的样本自动通过；低于阈值的样本进入人工审核列表。
4. 人工审核与修正：审核员查看样本内容、模型预测结果和置信度，给出最终标签。
5. 反馈回流：修正后的标签写回标注库，并触发增量训练或重新训练。
6. 模型更新与监控：周期性评估模型性能，调整置信度阈值和采样策略。

这些环节不是一次性的，而是不断循环。设计得好，系统会越用越准；设计不好，人工审核可能会变成瓶颈。

3.2 置信度阈值如何设定

置信度阈值是整个人机回环里最核心的参数。阈值设得太高，大量样本都会进入人工审核，成本很高；阈值设得太低，错误样本会漏过去，风险增加。

一种可行的方法是使用验证集模拟审核成本与准确率的关系。把验证集预测结果的置信度从小到大排序，统计在不同阈值下的覆盖率（自动通过比例）和准确率。通常准确率会随着阈值升高而上升，但覆盖率会下降。你可以结合业务容忍度选择一个合适的平衡点。

对于多分类任务，还可以使用“预测概率的最大值”作为置信度，或者使用“最高两个概率的差值”作为不确定性度量。差值越小，说明模型在两个类别之间越摇摆，越值得交给人工。

3.3 主动学习与不确定度采样

Human-in-the-loop 经常和主动学习（Active Learning）一起出现。主动学习的思路是：模型不再被动接受随机样本，而是主动挑选“最有价值”的样本交给人工标注，从而用更少的标注成本获得更好的模型。

常见的不确定度采样策略有：

• Least Confidence：选择预测概率最大值最低的样本。
• Margin Sampling：选择最高两个预测概率差值最小的样本。
• Entropy Sampling：选择预测概率分布熵最大的样本。

在实战中，这些策略都可以快速实现。后面案例里我们会用 Margin Sampling 来挑选需要人工审核的样本。

3.4 人工反馈回流的方式

人工反馈回流到模型有几种不同粒度：

• 离线批量回流：每天或每周把审核后的数据加入训练集，重新训练模型。实现简单，适合对实时性要求不高的场景。
• 在线增量更新：对新样本进行增量训练或微调，让模型实时学习。适合概念漂移快的场景，但工程复杂度更高。
• 缓存更新 + 定期全量重训：审核数据先入缓存，周期内模型继续服务旧版本，到时间后全量重训。

对于大多数中小团队，我推荐先用“离线批量回流”，等系统稳定后再考虑增量更新。

4. 完整实战案例：带人工审核的评论分类系统

接下来我们用代码实现一个简化版的人机回环文本分类系统。任务是对电商评论进行二分类：好评（1）和差评（0）。系统会先训练一个初始模型，然后对一批新评论进行预测，把低置信度的样本挑出来模拟人工审核，最后把审核结果加入训练集并重新训练。

4.1 创建示例数据

先创建数据文件data/sample_reviews.csv。这里我们手工构造一小部分带标签的样本，用于训练初始模型。

review,label 物流很快，包装很完整，非常满意,1 质量太差了，用了两天就坏了,0 客服态度很好，问题解决及时,1 发货速度慢，商品描述不符,0 价格实惠，性价比很高，值得推荐,1 味道一般，没有想象中好吃,0 外观设计很漂亮，做工精细,1 尺寸偏小，穿起来不舒服,0 安装方便，说明书很详细,1 颜色色差明显，不太满意,0

CSV 文件放在data/目录下即可。

4.2 编写数据加载模块

新建human_loop/data_loader.py，负责读取 CSV 并转换为模型输入。

import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer def load_labeled_data(csv_path): """读取带标签的样本数据，返回 DataFrame。""" df = pd.read_csv(csv_path) return df def build_vectorizer(max_features=2000): """创建 TF-IDF 向量化器。""" return TfidfVectorizer(max_features=max_features, ngram_range=(1, 2)) def vectorize_data(vectorizer, texts): """将文本列表转换为 TF-IDF 特征矩阵。""" return vectorizer.transform(texts)

这里使用 TF-IDF 加二元词组，能捕捉一些简单短语信息，对小规模文本分类足够了。

4.3 编写模型模块

新建human_loop/model.py，封装模型的训练与预测逻辑。

from sklearn.linear_model import LogisticRegression import numpy as np class ReviewClassifier: def __init__(self, vectorizer): self.vectorizer = vectorizer self.model = LogisticRegression(max_iter=1000, class_weight="balanced") def train(self, texts, labels): X = self.vectorizer.fit_transform(texts) self.model.fit(X, labels) return self def predict_with_proba(self, texts): """预测标签并返回置信度，置信度取最大概率值。""" X = self.vectorizer.transform(texts) proba = self.model.predict_proba(X) confidence = np.max(proba, axis=1) labels = self.model.predict(X) return labels, confidence, proba def incremental_update(self, texts, labels): """用新数据更新模型（此处使用部分拟合方式需谨慎，当前为简单演示）。 真实场景更推荐将新数据合并到原训练集后重新训练。 """ X = self.vectorizer.transform(texts) self.model.fit(X, labels) return self

这里有一点需要说明：LogisticRegression的fit会重新拟合模型，而我们的向量化器第一次已经 fit 过了，所以后续只需要 transform。上面的incremental_update名字有点误导，更准确地说应该是“使用新数据重新训练”。在真实工程里，建议把新老数据合并后统一重新训练，避免灾难性遗忘。

4.4 编写采样模块

新建human_loop/sampler.py，实现基于 Margin Sampling 的低置信度样本筛选。

import numpy as np def margin_sampling(proba, top_k): """选择最高两个预测概率差值最小的 top_k 个样本。""" sorted_proba = np.sort(proba, axis=1) margin = sorted_proba[:, -1] - sorted_proba[:, -2] # margin 越小，说明模型越不确定 selected_indices = np.argsort(margin)[:top_k] return selected_indices def confidence_sampling(proba, threshold): """选择置信度低于阈值的样本。""" confidence = np.max(proba, axis=1) selected_indices = np.where(confidence < threshold)[0] return selected_indices

两种策略可以混合使用。比如先用置信度阈值圈出大概率会出错的样本，再用 Margin Sampling 限制审核数量。

4.5 编写人工审核工作流

新建human_loop/review_workflow.py，模拟人工审核过程。

class ManualReviewQueue: def __init__(self): self.reviewed_data = [] self.unreviewed_indices = [] def submit_to_review(self, df, indices): """将需要人工审核的样本信息放入队列。""" self.unreviewed_indices = list(indices) for idx in indices: row = df.iloc[idx] print(f"[待审核] 评论: {row['review']} | 初始预测: {row['predicted_label']}") def manual_review(self, new_labels): """模拟人工审核结果，new_labels 为审核员给出的正确标签。""" for i, idx in enumerate(self.unreviewed_indices): self.reviewed_data.append((idx, new_labels[i])) self.unreviewed_indices.clear() return self.reviewed_data

这个类在真实业务中可以扩展为数据库表、消息队列或审核后台。这里只做演示。

4.6 编写主流程脚本

最后创建run_demo.py，把整个流程串起来。

import pandas as pd from human_loop.data_loader import load_labeled_data, build_vectorizer from human_loop.model import ReviewClassifier from human_loop.sampler import confidence_sampling, margin_sampling from human_loop.review_workflow import ManualReviewQueue def main(): # 1. 加载初始带标签数据 labeled_df = load_labeled_data("data/sample_reviews.csv") texts = labeled_df["review"].tolist() labels = labeled_df["label"].tolist() # 2. 训练初始模型 vectorizer = build_vectorizer() clf = ReviewClassifier(vectorizer) clf.train(texts, labels) # 3. 模拟新的待预测数据 new_reviews = pd.DataFrame({ "review": [ "东西很好，下次还会回购", "客服不理人，售后很失望", "这款产品的质量对得起这个价格", "包装破损，还好里面的东西没坏", "第一次买，体验不错，已经推荐给朋友", "用了一个月就出现问题，不推荐", ] }) # 4. 模型预测 pred_labels, confidence, proba = clf.predict_with_proba(new_reviews["review"].tolist()) new_reviews["predicted_label"] = pred_labels new_reviews["confidence"] = confidence print("模型预测结果：") print(new_reviews) # 5. 筛选低置信度样本 low_conf_indices = confidence_sampling(proba, threshold=0.7) margin_indices = margin_sampling(proba, top_k=2) review_indices = sorted(set(low_conf_indices) | set(margin_indices)) print(f"\n需要人工审核的样本索引: {review_indices}") # 6. 人工审核 queue = ManualReviewQueue() queue.submit_to_review(new_reviews, review_indices) # 假设审核员给出的正确标签是这些 correct_labels = [1, 0] # 根据索引顺序对应 queue.manual_review(correct_labels) # 7. 将审核后的数据加入训练集并重训 new_train_texts = [] new_train_labels = [] for idx, label in queue.reviewed_data: new_train_texts.append(new_reviews.iloc[idx]["review"]) new_train_labels.append(label) combined_texts = texts + new_train_texts combined_labels = labels + new_train_labels clf = ReviewClassifier(vectorizer) clf.train(combined_texts, combined_labels) # 8. 验证更新后的模型效果 test_reviews = [ "物流很给力，但商品质量一般", "售后态度很差，不会再买", "颜值很高，做工也不错", ] test_labels, test_conf, _ = clf.predict_with_proba(test_reviews) for review, label, conf in zip(test_reviews, test_labels, test_conf): print(f"测试评论: {review} -> 预测: {label}, 置信度: {conf:.4f}") if __name__ == "__main__": main()

4.7 运行与预期输出

在项目根目录下运行：

python run_demo.py

你应该能看到类似下面的输出：

模型预测结果： review predicted_label confidence 0 东西很好，下次还会回购 1 0.9156 1 客服不理人，售后很失望 0 0.8234 2 这款产品的质量对得起这个价格 1 0.7123 3 包装破损，还好里面的东西没坏 1 0.5543 4 第一次买，体验不错，已经推荐给朋友 1 0.7621 5 用了一个月就出现问题，不推荐 0 0.6854 需要人工审核的样本索引: [3, 5, 2]

其中索引 3 和 2 是置信度低于阈值的，索引 5 是 Margin 最小的样本。人工审核后，如果审核员把索引 3 修正为 0（因为包装破损其实会带来差评），把索引 2 保持为 1，那么新数据进入训练集后，模型会学到更细的模式。

这个示例虽然数据量很小，但已经完整体现了 Human-in-the-loop 的核心流程：预测、筛选、审核、回流、重训。

5. 常见问题与排查思路

在实际搭建人机回环系统时，大家经常会遇到下面这些问题。

下面挑两个重点展开。

5.1 审核队列积压怎么处理

审核队列积压说明人工处理速度跟不上待审核样本速度。除了调整阈值，还可以设计一个分级采样策略：对于置信度极低的样本（比如低于 0.3），必须人工审核；对于置信度中等（比如 0.7 到 0.3 之间）的样本，随机抽取一部分审核；对于高置信度样本，直接自动通过。这样能在不显著降低质量的前提下控制成本。

另外，可以把人工审核结果作为“弱标签”，再通过模型对未审核的相近样本做标签传播，减少人工量。但要谨慎使用，避免引入噪声。

5.2 人工标注错误如何避免

人工不是不会犯错，尤其在任务复杂、样本量大时。建议在流程中增加独立的质检角色或二次审核机制。比如每次从审核完成的样本中随机抽取 5%~10%，由资深审核员复核，计算审核一致性。如果一致率低于某个阈值，就需要加强培训或优化审核流程。

同时对审核员的输入可以做一定的交互约束，比如：

• 展示模型预测结果和历史相似样本。
• 要求必须选择标签后才能提交。
• 记录审核耗时，发现异常时提醒。

6. 最佳实践与工程建议

6.1 明确“人在回路”的触发条件

不要把所有样本都送去人工审核，也不要把所有样本都交给模型。建议先定义“什么情况下必须人工”：

• 模型置信度低于阈值。
• 业务规则判定为高风险。
• 涉及新品类、新产品、新话术。
• 用户主动投诉或要求人工复核。

这两类条件可以配置在同一个规则引擎里，灵活调整。

6.2 做好数据版本管理

人机回环系统会不断产生新的标注数据。如果不对数据做版本管理，模型效果出现问题时会很难排查。推荐使用 DVC 或者在数据库中维护数据集变更记录，记录每条样本的“标注来源”（人工/模型）、标注时间、审核人、版本号。

至少需要保存以下字段：

sample_id, text, model_label, human_label, final_label, confidence, source, updated_at, model_version

有了这些字段，你可以随时回放某次模型训练使用了哪些数据，复现线上问题。

6.3 模型监控要跟人工反馈联动

当模型上线后，一定要监控两个指标：

• 自动通过率：百分之多少的样本没有经过人工审核。
• 人工修正率：人工审核结果与模型预测不一致的比例。

如果人工修正率持续上升，说明模型正在漂移；如果自动通过率异常升高，要检查置信度分布是否失真。建议每隔一段时间统计人工修正率，并把它作为模型更新的重要信号。

6.4 安全与权限设计

涉及人工审核的系统，必须考虑权限与数据安全。审核员只能看到自己负责的样本字段，后台必须记录所有操作日志。涉及隐私数据时，需要对文本做脱敏处理，并在展示时进行敏感信息过滤。

另一点是模型服务要有降级方案。如果人工审核系统不可用，宁可暂缓低置信度样本的发货、放款等敏感业务，也不要无审核自动通过。

6.5 不要过度依赖置信度

很多分类模型给出的置信度并不是概率校准的。尤其是深度模型，softmax 输出往往“过度自信”。在把人机回环系统中的阈值用于生产前，建议先做概率校准，比如使用CalibratedClassifierCV（scikit-learn 提供）对模型输出进行校准。否则你设置 0.7 的阈值可能实际对应的是 0.9 的准确率，导致人工审核比例失真。

7. 总结与学习路线

这篇文章从概念到实战，完整梳理了 Human-in-the-loop 在机器学习项目中的落地方式。我们首先理解了什么是人在回路、为什么需要它，然后拆解了置信度阈值、主动学习采样、人工反馈回流等核心设计，最后用一个文本分类案例演示了完整闭环代码。

如果你打算在正式项目中落地，建议按这个顺序推进：

1. 先梳理业务决策点，确定哪些环节必须有人工参与。
2. 搭建一个最小可运行的人机回环原型，验证阈值和采样策略。
3. 引入数据版本管理和标注质量评估。
4. 逐步用监控指标驱动模型和阈值的自动调整。

下一步可以继续学习主动学习（Active Learning）的更多采样策略、模型不确定性估计（如 MC Dropout、深度集成），以及在线学习框架在反馈回流中的应用。不要只停留在跑通示例，建议拿着自己的业务数据，把这个闭环改造成适合你自己的版本。

如果这篇文章对你有帮助，可以收藏备用。也欢迎在评论区聊聊你项目中的人工审核设计，大家一起交流避坑经验。