7.4 性能度量指标:准确率、精确率、召回率、F1分数、AUC-ROC
模型评估不仅需要一个独立的测试集,更需要选择恰当的度量指标来量化其性能。对于分类任务,单一指标(如准确率)往往无法全面反映模型的行为特性,尤其是在数据分布不平衡或不同错误类型的代价差异悬殊的场景下。本节将系统阐述二分类任务中的核心性能度量指标——准确率、精确率、召回率、F1分数与AUC-ROC——的定义、计算方法、内在联系及其适用场景,并简要说明其向多分类任务的扩展。
7.4.1 评估的基础:混淆矩阵
所有分类性能指标均派生自混淆矩阵,它是一个总结分类模型预测结果与真实标签对应关系的N×NN \times NN×N表格(NNN为类别数)。对于二分类问题(正类和负类),其简化形式如表1所示。
表1:二分类混淆矩阵
| 预测为正类 | 预测为负类 | |
|---|---|---|
| 实际为正类 | 真正例 (True Positive, TP) | 假负例 (False Negative, FN) |
| 实际为负类 | 假正例 (False Positive, FP) | 真负例 (True Negative, TN) |
混淆矩阵中的四个基本计数(TP, FN, FP, TN)是所有后续指标计算的基石。它们明确区分了两种错误类型:假正例(误报,将负类判为正类)和假负例(漏报,将正类判为负类)。在实际应用中,这两类错误的代价往往不同。例如,在疾病筛查中,漏诊(FN)的代价通常远高于误诊(FP)。
7.4.2 核心分类性能指标
基于混淆矩阵,可以定义一系列具有不同侧重点的指标。
7.4.2.1 准确率
准确率衡量的是模型整体预测正确的比例。
Accuracy=TP+TNTP+TN+FP+FN \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}Accuracy=TP+TN+FP+FNTP+TN
它是最直观的指标。然而,当数据类别严重不平衡时(例如负样本占99%,正样本占1%),一个将所有样本都预测为负类的“愚蠢”模型也能获得99%的准确率,这完全掩盖了模型对关键少数类(正类)的识别能力为0的事实[1]。因此,准确率不适用于类别不平衡问题的评估。
7.4.2.2 精确率与召回率
精确率和召回率从两个互补的视角评估模型对正类的识别能力。
精确率,又称查准率,关注的是模型预测出的正例中有多少是真正的正例。它衡量了预测结果的“纯度”。
Precision=TPTP+FP \text{Precision} = \frac{TP}{TP + FP}Precision=