F1分数最大化：找到最佳阈值的数学方法-开发者社区

F1分数最大化：找到最佳阈值的数学方法

在中文地址数据处理场景中，实体对齐是构建高质量地理信息知识图谱、实现多源地址融合的关键环节。由于中文地址存在表述多样、缩写习惯差异、层级结构不一致等问题（如“北京市朝阳区” vs “北京朝阳”），传统基于规则或模糊匹配的方法往往准确率低、召回不稳定。为此，阿里云开源的 MGeo 地址相似度模型应运而生——它基于深度语义匹配架构，专为中文地址领域优化，在多个真实业务场景中展现出卓越的性能表现。

本文将围绕F1 分数最大化这一核心目标，系统性地探讨如何通过数学方法科学地确定 MGeo 模型的最佳相似度阈值。我们将从分类决策的本质出发，深入解析 Precision-Recall 权衡机制，推导 F1 最大化的计算逻辑，并结合实际代码实现完整的阈值搜索流程，帮助开发者在缺乏明确业务偏好的情况下，快速定位最优静态阈值。

1. 相似度输出与二分类决策的映射关系

MGeo 模型通过对两个中文地址进行语义编码，最终输出一个介于 0 到 1 之间的连续相似度得分，表示这对地址指向同一地理位置的可能性。然而，在大多数实际应用中，我们需要将其转化为明确的二元判断：“是否匹配”。

1.1 阈值作为分类边界

设 $ s \in [0,1] $ 为模型输出的相似度分数，$ T \in [0,1] $ 为预设阈值，则分类函数定义如下：

$$ \text{predict}(s) = \begin{cases} 1 & \text{if } s \geq T \ 0 & \text{otherwise} \end{cases} $$

该过程本质上是在一维得分空间上设定一个决策边界，将样本划分为正类（匹配）和负类（不匹配）。不同的 $ T $ 值会显著影响分类结果的质量。

1.2 分类性能的核心指标

为了评估不同阈值下的模型表现，我们依赖以下三个关键指标：

Precision（精确率）：预测为“匹配”的样本中，真正匹配的比例
$$ P = \frac{TP}{TP + FP} $$
Recall（召回率）：所有真实匹配的样本中，被正确识别的比例
$$ R = \frac{TP}{TP + FN} $$
F1 Score（F1 分数）：Precision 与 Recall 的调和平均，用于综合衡量分类性能
$$ F1 = 2 \cdot \frac{P \cdot R}{P + R} $$

其中 TP（True Positive）、FP（False Positive）、FN（False Negative）均随阈值变化而动态变化。

核心洞察：随着阈值 $ T $ 升高，判定更严格，Precision 通常上升但 Recall 下降；反之亦然。F1 分数提供了一个平衡点，可用于自动寻找“最佳”折中方案。

2. 构建评估基础：准备标注测试集与推理结果

要进行科学的阈值调优，必须具备一个独立且具有代表性的标注测试集。

2.1 测试集构建原则

有效的测试集应满足以下条件：

包含至少 500 对人工标注的真实地址对；
覆盖常见变体类型：简称、错别字、顺序颠倒、行政区划别名等；
正负样本比例合理（建议正样本占比 20%-50%），避免极端不平衡；
来源于真实业务场景，而非合成数据。

示例格式test_pairs.csv：

addr1,addr2,label 北京市海淀区中关村大街1号,北京海淀中关村街1号,1 上海市浦东新区张江路123号,杭州市西湖区文三路456号,0 ...

2.2 获取模型预测得分

使用 MGeo 推理脚本对测试集中的每一对地址运行预测，生成包含相似度得分的结果文件predictions.csv，格式如下：

addr1,addr2,true_label,pred_score 北京市海淀区中关村大街1号,北京海淀中关村街1号,1,0.823 上海市浦东新区张江路123号,杭州市西湖区文三路456号,0,0.317 ...

此文件将成为后续所有分析的基础输入。

3. 数学方法实现：F1 最大化阈值搜索全流程

本节将详细介绍如何通过编程手段，遍历所有可能的阈值，计算对应的 F1 分数，并找出使其最大化的最优值。

3.1 数据加载与预处理

import pandas as pd import numpy as np from sklearn.metrics import precision_recall_curve import matplotlib.pyplot as plt # 加载预测结果 df = pd.read_csv("predictions.csv") y_true = df['true_label'].values y_scores = df['pred_score'].values

3.2 使用 sklearn 快速获取 P-R 曲线

Scikit-learn 提供了precision_recall_curve函数，可高效生成各阈值下的 Precision 和 Recall：

precision, recall, thresholds = precision_recall_curve(y_true, y_scores)

注意：thresholds是用于生成这些点的实际阈值数组，其长度比precision和recall少 1（因最后一个点对应 no-threshold 极限情况）。

3.3 手动计算 F1 分数并定位最优阈值

由于precision_recall_curve返回的precision和recall在末尾多出一个虚拟点（recall=0 时的 precision），需截断以对齐thresholds：

# 计算 F1 分数（排除最后一个多余的 precision 点） f1_scores = 2 * (precision[:-1] * recall[:-1]) / (precision[:-1] + recall[:-1] + 1e-8) # 找到 F1 最大的索引 best_idx = np.argmax(f1_scores) best_threshold = thresholds[best_idx] best_f1 = f1_scores[best_idx] print(f"最佳阈值: {best_threshold:.3f}") print(f"对应 F1: {best_f1:.3f}") print(f"Precision: {precision[best_idx]:.3f}, Recall: {recall[best_idx]:.3f}")

输出示例：

最佳阈值: 0.732 对应 F1: 0.864 Precision: 0.851, Recall: 0.878

3.4 可视化辅助分析：绘制 F1 曲线与 P-R 曲线

为进一步理解模型行为，可绘制 F1 随阈值变化的趋势图：

plt.figure(figsize=(10, 5)) plt.subplot(1, 2, 1) plt.plot(thresholds, f1_scores, label='F1 Score', color='blue') plt.axvline(x=best_threshold, color='red', linestyle='--', label=f'Best Threshold = {best_threshold:.3f}') plt.xlabel('Threshold') plt.ylabel('F1 Score') plt.title('F1 Score vs Threshold') plt.legend() plt.grid(True) plt.subplot(1, 2, 2) plt.plot(recall, precision, marker='.', label='P-R Curve') plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision-Recall Curve') plt.grid(True) plt.tight_layout() plt.show()

这两张图分别展示了： - 左图：F1 分数随阈值的变化趋势，峰值即为最优解； - 右图：Precision 与 Recall 的权衡关系，曲线越靠近右上角越好。

4. 方法局限性与适用边界分析

尽管 F1 最大化是一种客观且常用的阈值选择策略，但在实际工程中仍需注意其局限性。

4.1 对类别不平衡敏感

当测试集中正样本极少（如 <10%）时，高 Precision 更容易达成，导致 F1 最大化倾向于选择较高阈值，从而牺牲 Recall。此时即使 F1 较高，也可能漏掉大量真实匹配。

✅应对建议：若业务更关注召回，可考虑使用F2 Score（更重视 Recall）： $$ F2 = 5 \cdot \frac{P \cdot R}{4P + R} $$

4.2 忽略误判成本差异

F1 默认 Precision 与 Recall 同等重要，但现实中两者代价可能完全不同：

地址去重中误合并（FP）可能导致用户数据混乱；
客诉归因中漏匹配（FN）可能错过重要线索。

✅应对建议：引入加权 Fβ Score，根据业务需求调整 β 值： $$ F_\beta = (1 + \beta^2) \cdot \frac{P \cdot R}{\beta^2 P + R} $$ - $ \beta > 1 $：更重视 Recall - $ \beta < 1 $：更重视 Precision

4.3 静态阈值的泛化能力限制

全局最优阈值假设数据分布稳定。一旦上线新城市、新增地址模式或用户输入习惯改变，原有阈值可能不再适用。

✅应对建议： - 定期使用新日志数据重新评估阈值； - 结合 A/B 测试验证阈值变更对下游指标的影响； - 考虑采用分层或上下文感知的动态阈值策略（见下文扩展）。

5. 扩展思考：超越 F1 —— 多级置信输出设计

在复杂系统中，简单的“匹配/不匹配”二分决策可能不足以支撑精细化运营。我们可以基于 F1 最大化得到的基础阈值，进一步设计多级置信度输出机制。

5.1 置信等级划分方案

相似度区间	判定类型	处理策略
≥ 0.85	高度匹配	自动合并，无需审核
0.70 ~ 0.85	中度匹配	触发人工复核流程
0.55 ~ 0.70	低度匹配	存入候选池供后续关联
< 0.55	不匹配	直接忽略

该设计将单一阈值问题转化为分级响应机制，提升了系统的灵活性与容错能力。

5.2 与 F1 最大化结合的应用路径

使用 F1 最大化确定主决策阈值（如 0.732）；
将其作为“中度匹配”下限，向上扩展高置信区间，向下设置低置信缓冲区；
根据各层级的样本分布密度，微调边界以保证各级别数量均衡。

这种方式既保留了数学优化的客观性，又融入了工程实践的弹性空间。

6. 总结

F1 分数最大化是一种简洁而有力的数学方法，能够在缺乏明确业务倾向的前提下，为 MGeo 等语义匹配模型提供一个可解释、可复现的最优阈值选择依据。

6.1 核心价值总结

自动化决策支持：避免凭经验或试错法设定阈值，提升调参效率；
量化评估基准：F1 提供统一指标，便于跨版本、跨模型横向比较；
可视化辅助分析：结合 P-R 曲线与 F1 曲线，全面理解模型能力边界；
工程落地友好：算法简单、实现清晰，适合集成到 CI/CD 或监控 pipeline 中。

6.2 推荐实践流程

✅ 构建高质量标注测试集（≥500 样本，覆盖典型场景）
✅ 运行 MGeo 推理，生成全量预测得分
✅ 使用precision_recall_curve计算各阈值下 P/R/F1
✅ 定位 F1 最大值对应阈值，作为初始推荐值
✅ 结合业务目标微调（如提高精度或召回）
✅ 设计多级置信输出机制，增强系统鲁棒性

最终提醒：F1 最大化是起点而非终点。真正的最佳阈值，是模型能力、数据特征与业务需求共同作用的结果。建议建立定期重评机制，确保阈值始终适应不断演进的现实环境。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

F1分数最大化：找到最佳阈值的数学方法