08 进阶评估指标与算法特定指标
Accuracy、Precision、Recall、F1、ROC-AUC 是分类任务中最常见的指标。
但是在真实项目中，还经常需要其他评估方法。
这一篇作为扩展篇，介绍：
PR Curve PR-AUC Log Loss Top-k Accuracy Calibration Cost-sensitive Evaluation Ranking Metrics 算法或任务特定指标一、为什么还需要更多指标？
因为一个模型可能同时承担不同功能。
例如：
分类 概率估计 排序 风险评分 检索 推荐 异常检测同一个模型：
Accuracy 很高并不意味着：
概率估计准确 排序能力好 业务收益高因此模型评估必须与模型用途匹配。
二、Precision-Recall Curve
PR Curve 的两个坐标轴是：
Precision Recall随着 threshold 改变：
Precision 和 Recall 也不断变化将不同 threshold 对应的：
Recall, Precision连接起来，就得到 PR Curve。
三、PR Curve 为什么适合类别不平衡？
在严重类别不平衡时：
Negative 数量非常大ROC 中的 FPR 可能看起来很低。
但是 PR Curve 更直接关注：
预测出来的 Positive 有多可信 真正的 Positive 找到了多少因此在：
欺诈检测 异常检测 稀有事件检测中，PR Curve 往往非常有解释力。
四、PR-AUC
与 ROC-AUC 类似，可以计算 PR Curve 下的面积。
通常称为：
PR-AUC或根据具体计算方式使用：
Average Precision它综合衡量 Precision-Recall trade-off。
在正类极少的任务中，PR-AUC 往往是非常重要的补充指标。
五、Log Loss
如果模型输出概率：
P(y=1)不仅可以评价分类是否正确，还可以评价：
模型给出的概率到底有多合理。
二分类 Log Loss 可以表示为：
LogLoss=−1N∑i=1N[yilog(pi)+(1−yi)log(1−pi)]LogLoss=-\frac{1}{N}\sum_{i=1}^{N}[y_i\log(p_i)+(1-y_i)\log(1-p_i)]LogLoss=−N1i=1∑N[yilog(pi)+(1−yi)log(1−pi)]
其中：
y_i = 真实标签 p_i = 模型预测为正类的概率Log Loss 越小越好。
六、为什么 Log Loss 比 Accuracy 更严格？
假设两个模型都预测正确。
真实标签：
PositiveModel A：
P(Positive) = 0.51Model B：
P(Positive) = 0.99如果 threshold = 0.5：
两个模型都预测正确 Accuracy 完全一样但是：
Model B 更有信心Log Loss 会体现这种概率质量差异。
同样，如果模型：
P(Positive)=0.99但实际上是 Negative，那么 Log Loss 会给予非常大的惩罚。
七、Probability Calibration
一个概率模型输出：
0.8理想解释应该是：
所有被预测为 0.8 的样本中，大约 80% 真的是 Positive。
如果现实中只有：
50%那么模型：
over-confident 过度自信如果现实中有：
95%那么模型可能：
under-confident 过于保守这就是：
Calibration 概率校准八、为什么 Calibration 很重要？
某些任务不仅需要：
谁更可能是 Positive还需要：
风险到底是多少例如：
金融风险 医疗风险 设备故障概率 保险定价 资源调度此时：
AUC 高并不代表：
概率一定校准良好AUC 更关注排序。
Calibration 更关注概率本身是否可信。
九、Top-k Accuracy
对于类别很多的问题：
100 类 1000 类 甚至更多Top-1 Accuracy 可能过于严格。
于是可以使用：
Top-k Accuracy例如：
Top-5 Accuracy表示：
真实类别是否出现在模型预测概率最高的 5 个类别中。
十、Cost-sensitive Metrics
在现实业务中：
FP FN通常并不是等价的。
可以直接定义成本函数：
Cost=CFP×FP+CFN×FNCost=C_{FP}\times FP+C_{FN}\times FNCost=CFP×FP+CFN×FN
其中：
C_FP = False Positive 的成本 C_FN = False Negative 的成本然后选择使：
Expected Cost最小的模型和 threshold。
这比盲目追求 Accuracy 更符合很多实际部署需求。
十一、Ranking Metrics
有些模型真正的任务不是最终分类，而是排序。
例如：
搜索 推荐系统 广告排序 候选风险排序这时可以使用：
Precision@k Recall@k MAP NDCG MRR这些指标关注：
高排名位置是否出现了真正相关的结果而不是只看整体分类正确率。
十二、算法特定指标应该如何理解？
“Algorithm-specific metrics” 可以理解为：
某些算法、任务或输出形式拥有额外的评价方法。
例如：
聚类 → Silhouette Score → Davies-Bouldin Index 回归 → MAE → MSE → RMSE → R² 排序 → NDCG → MAP → MRR 概率预测 → Log Loss → Brier Score → Calibration Error 异常检测 → Recall at low FPR → Precision at top-k → PR-AUC因此严格来说：
指标通常更应该按“任务类型”选择，而不是简单按“算法名字”选择。
十三、不要只用一个指标决定模型
一个更可靠的模型评估报告可以同时包含：
Confusion Matrix Accuracy Precision Recall Specificity F1 ROC-AUC PR-AUC Probability Calibration Inference Cost Business Cost具体选择哪些，取决于任务。
十四、一个实用评估框架
可以按下面四个层次评估模型。
第一层：分类结果
Confusion Matrix Accuracy Precision Recall Specificity F1第二层：排序能力
ROC-AUC PR-AUC第三层：概率质量
Log Loss Calibration第四层：部署价值
Latency Memory Cost FP Cost FN Cost Business KPI这样得到的模型评价通常比单一 Accuracy 更完整。
十五、总结
模型评价没有一个永远最好的指标。
真正应该问的是：
模型最终输出什么？ 模型被用于什么任务？ 哪种错误更加昂贵？ 类别是否不平衡？ 需要分类、排序还是概率？ 部署约束是什么？只有先回答这些问题，才能选择真正合适的指标。
这也是整个 Model Evaluation and Selection 主题的核心。
