训练师最危险的一句话是:
“Loss 降了,所以模型变好了。”Loss 是训练信号,不是最终业务价值。本篇建立一套从 Baseline 到 Regression 的模型评测方法。
第一部分:为什么 Evaluation 必须训练之前设计
1. Evaluation 应该什么时候设计
答案:
训练之前。
错误流程:
训练完 → 再想测什么正确:
定义能力 ↓ 建立 Eval ↓ 记录 Base Baseline ↓ 训练 ↓ 相同 Eval ↓ 比较否则容易只选择对新模型有利的问题。
2. Baseline
Base Model 在训练前的表现:
Baseline至少记录:
- 领域正确率;
- 通用能力;
- 格式;