机器学习情感分析全流程：标注、Baseline、预训练微调与Badcase排查

做情感分析这行当，最容易被人低估的一步从来不是调模型，而是把“情感”这两个字翻译成机器能算的东西。一条“东西是好东西，就是这快递我真服了”的评论，到底算正、算负，还是算中性？三个标注员能给你三个答案。所以这篇内容我不打算写成一份教科书式的入门指南，而是把我在几个实际项目里跑通的那套流程完整摊开：从机器学习情感分析的问题定义、语料构建、标注口径，到词典法、TF-IDF 加线性模型、词向量加深度网络、预训练模型微调这四条路线的取舍，再到完整的可复现代码、评估指标怎么选、badcase 怎么挖、上线后怎么监控。适合两类人看：一类是刚接手一个评论分类需求、不知道从哪下手的新手，照着第五节的代码能当天跑出一个 baseline；另一类是已经做过一版、但线上效果总比测试集低十几个点的老手，第四、五节的排查思路应该能帮你找到漏在哪。

1. 动手前先把题面翻译清楚

我见过太多项目死在第一步：需求方说“帮我做个情感分析”，双方脑子里想的根本不是同一件事。有人想的是整条评论的正负判断，有人想的是从一千条反馈里自动摘出“物流慢”这个具体抱怨点。这两者的建模方式、标注成本、交付周期差着三倍以上。所以在写第一行代码之前，必须把题面拆到能对应到具体输出的程度。

1.1 情感分析的四个粒度，选错就是白干

从工程落地角度看，情感分析至少有四个不同的粒度，每一个对应的模型结构和标注方式都不一样，值得花半小时和需求方对齐。

文档级是最常见的，一条评论输出一个极性标签，正、负、中性三选一，或者再加一档“强烈负面”。它的好处是标注便宜、模型简单、指标好解释，缺点是丢信息——“质量好但客服差”这种句子只输出一个标签，等于把一半信息扔了。适合做大盘情绪监控、NPS 趋势分析这类“看整体走势”的场景。

句子级是把长文本切成句子逐句判极性，再做聚合。中文用户的长评里经常一句话一个观点，句子级能保留更多细节，但对切句质量很敏感，遇到不带标点的连续吐槽就抓瞎。

方面级（Aspect-Based）是工业界真正值钱的那一档，输出的是“针对哪个对象、什么情感”。比如一条评论同时抽出{物流: 负, 质量: 正, 价格: 中性}。它需要额外做实体抽取和观点配对，标注成本大概是文档级的四到六倍，但如果你的目标是驱动业务改进——哪个环节该被优化——只有它能直接给出答案。

情绪细分则是在正负之外再分喜、怒、哀、惊、期待这些细类，常用于舆情预警。老实说，除非业务方明确要这一层，否则不要自己加戏，五分类的情绪标注一致性掉得特别快。

我的一般建议是：第一版永远做文档级三分类，跑通链路、验证数据质量、拿到一个能看的指标，再考虑往下钻。上来就做方面级，八成会在标注阶段就把预算烧光。

1.2 标注口径定不下来，后面全是返工

这一节是我认为整篇文章里最值得反复读的部分。标注规范没写好，你后面调参调得再漂亮，模型学的也是一堆自相矛盾的标签。

几个必须提前写进规范文档的边界情况：

• 混合情感怎么算。我的做法是“按结论句或转折词之后的部分定极性”，因为中文表达习惯里转折后的内容承载真实态度。“东西不错，但是……”后面基本就是真实想法。规范里要明确写：以“但、不过、然而、可惜”等转折词后的分句为准。
• 三星到底算啥。五分制打分映射到三类时，1-2 星负、4-5 星正、3 星中性，这个映射看起来天经地义，但中文语境里三星评论大量是“凑合”“还行吧”“就那样”，语气偏冷淡。我在一个项目里试过把三星单独做一版，结果发现它和负类的语义距离比和正类近得多。后来直接改成 1-3 星负、4-5 星正，二分类，F1 反而涨了六个点。中性类样本占比低于 15% 的时候，果断合并成二分类，别硬撑三分类。
• 反讽必须单独培训。“真是太好了，用三天就坏了”这种句子，字符层面的情感词全是正的。规范里要放至少二十条反讽样例，并且明确要求标注员遇到疑似反讽按真实态度标注。
• 无条件情绪不要标。“请问这个什么时候发货”是询问，不是负向，但很多标注员会因为它“语气着急”标成负。规范里要留一个其他/无关标签兜底，这部分样本训练时丢弃，别污染模型。

规范写完之后，抽 10% 的样本做双人标注，算一下 Cohen's Kappa。Kappa 低于 0.6 说明规范有歧义，回去改文档；0.6 到 0.75 之间可以接受但要复盘分歧样本；0.75 以上才算能开工。这一步花两天，能省后面两周。

1.3 技术路线选型：四条路，什么场景走哪条

选型这件事，我判断的核心依据只有两个：你有多少标注数据，你的延迟预算有多少。精度是结果，不是先决条件。

几个实操提醒。第一，别跳过 TF-IDF 直接上 BERT。听起来很诱人，但 TF-IDF 加逻辑回归半小时能出结果，它能立刻告诉你数据本身有没有问题——如果 TF-IDF 只能到 0.65，说明标签噪声大或者任务定义本身模糊，这时候上预训练模型，最多也就到 0.8，而且你会误以为是模型不行，反复调参浪费一周。第二，预训练模型不是万能的，在样本量少于两千条、且文本很短（少于十字）的场景里，它相对 TF-IDF 的提升可能只有两三个点，但推理成本涨十倍，这笔账要算清楚。第三，大模型少样本提示在跨领域冷启动时非常好用，可以先用它给无标注数据打伪标签，人工抽检修正后，再拿去微调小模型，这是个很实用的冷启动路径。

2. 数据环节决定效果上限

模型结构决定的只是你能不能逼近这个上限，数据决定的才是上限在哪。我做过一个粗略统计，同一套 BERT 微调脚本，在清洗前和清洗后的数据上跑，宏 F1 差 5 到 8 个点是常事，而这个差距靠调参基本补不回来。

2.1 数据从哪来，怎么采才不偏

常见的几个来源各有各的坑。评论区抓取的问题是有强烈的自我选择偏差——愿意写评论的人要么特别满意要么特别愤怒，中间态的人根本不说话，导致分布呈两极分化，中性样本严重稀缺。客服工单正好相反，几乎全是负向，正类样本得另想办法。问卷开放题质量最高但量最少，通常只有几百条，适合做种子集和验证集。站内搜索词、弹幕、社区帖子噪声大，但能补充大量非标准表达。

我比较推荐的组合是：公开情感语料打底做流程验证，自有业务数据做主力训练，问卷开放题做高质量验证集。如果自有数据不够，还有一种低成本扩容方式——用星级、点赞数、复购行为这些弱信号做远监督，比如把 4-5 星评论当正类种子。但要注意，远监督的噪声率通常在 10% 到 20%，用之前必须人工抽检 200 条估算准确率，噪声太高就要先做一轮过滤（比如剔除长度少于 8 字、纯表情、纯符号的样本）。

采样策略上有个细节容易被忽略：同一用户的多条评论要去重或分在同一侧。否则同一个人的表达习惯会被模型当成特征，测试集里出现同一用户的相似句子，指标虚高，上线就打回原形。

2.2 清洗：能砍掉的噪声比想象中多

中文评论的脏数据有几类固定模式，处理顺序建议从粗到细：

1. 完全重复与近似重复。完全重复直接drop_duplicates。近似重复用 SimHash 或者简单的编辑距离阈值（相似度大于 0.9 视为重复）去重。刷单评论往往是模板化改几个词，这一步能砍掉不少。
2. 非评论文本。二维码引导语、返现卡文案、微商广告、“加V领红包”这类，用关键词黑名单加正则过滤。我一般会先人工扫 500 条，把高频的广告模板收集成规则表。
3. 无意义内容。纯数字、“hhhh”、“1111”、单个标点、纯表情。长度小于 4 个汉字的样本基本没有判别价值，直接丢。
4. 格式规整。HTML 标签剥离、全角半角统一、繁体转简体、连续重复字符压缩（“太好啦啦啦啦”压成“太好啦”）。
5. 表情符处理。这里有个分歧：有人直接删 emoji，有人保留。我的做法是把高频表情映射成中文短语再拼回文本，比如竖起大拇指映射为“赞”，哭脸映射为“难过”。在短文本场景里，一个表情携带的情感信息可能超过整句话，直接删掉是浪费。
6. 脱敏。手机号、身份证号、具体地址这类必须正则替换，这既是合规要求，也能避免模型学到与任务无关的模式。

清洗完一定要做一次分布对比：清洗前后各类别的占比变化超过 5 个点，说明你的清洗规则有偏，可能把某一类样本大量误删了。这一步我用一个简单的柱状对比就能看出来，不用复杂工具。

2.3 类别不平衡与数据切分

真实业务里正负比 1:4 到 1:9 都很常见。处理手段有三种，我按推荐顺序排：

第一优先是调权重。逻辑回归里class_weight='balanced'，预训练模型里用加权交叉熵，权重按w_c = N / (K * N_c)计算，N 是总样本数，K 是类别数，N_c 是该类样本数。举个例子，10000 条数据，正类 8000 负类 2000，二分类，那负类权重就是10000 / (2 * 2000) = 2.5，正类权重是10000 / (2 * 8000) = 0.625。这样改的是损失函数，不动数据分布，最安全。

第二是上采样少数类，但要注意别简单复制，同一条样本重复三次会让模型过拟合这几条。可以用回译（翻译成英文再翻回来）或者同义词替换做增强，不过中文回译质量参差，用完必须抽检。

第三才是下采样多数类，样本量大（十万级以上）的时候可以用，否则丢信息太可惜。

数据切分这块，唯一必须遵守的规则是分层切分（stratify=y），保证训练集、验证集、测试集的类别比例一致。如果数据带时间戳，而且业务分布随时间变化明显（比如新品上市前后评论差异巨大），建议用时间切分而不是随机切分，随机切分会造成信息泄漏，指标虚高。测试集占比 15% 到 20%，一旦切好就封存，迭代过程中只看验证集。

3. 四条技术路线的具体拆解

这一节按复杂度从低到高讲，每条路线我都会说清楚它解决了什么问题、什么情况下该停在这里不要再往上走。

3.1 词典加规则：先跑通链路再谈精度

词典法的逻辑很朴素：维护一张情感词典，正向词加一分，负向词减一分，加上否定词表（不、没、别、毫无）和程度副词表（很、非常、稍微、有点），再配几条规则处理否定翻转和程度加权，最后按总分阈值判极性。

NEG_WORDS = {"不", "没", "没有", "别", "毫无", "并非", "谈不上"} DEGREE = {"极其": 2.0, "非常": 1.8, "很": 1.5, "比较": 1.2, "有点": 0.8, "稍微": 0.6} POS_WORDS = {"好", "满意", "推荐", "喜欢", "划算", "耐用", "惊喜"} NEG_SENTI = {"差", "垃圾", "失望", "退货", "慢", "贵", "难用"} def rule_score(text): score, i, tokens = 0.0, 0, list(text) while i < len(tokens): w = tokens[i] if w in POS_WORDS or w in NEG_SENTI: base = 1.0 if w in POS_WORDS else -1.0 # 往前看两个字符，判断是否有否定词和程度副词 window = "".join(tokens[max(0, i - 3):i]) for neg in NEG_WORDS: if neg in window: base *= -0.8 # 否定不直接取反，打八折 break for deg, factor in DEGREE.items(): if deg in window: base *= factor break score += base i += 1 return score def rule_predict(text, thr=0.5): s = rule_score(text) if s > thr: return "正向" if s < -thr: return "负向" return "中性"

这段代码半小时能写完，准确率大概 0.6 到 0.7，看起来很低，但它的价值不在准确率。第一，它能在你还没标注数据的时候先把整条链路（输入、处理、输出、存储、展示）跑通，让下游知道自己要接什么格式。第二，它提供了一个可解释的对照基准，后面模型判错的时候，你能拿规则结果做参照，快速判断是模型的问题还是标签的问题。第三，规则可以作为特征喂给后面的模型，把rule_score作为一个数值特征拼到 TF-IDF 特征后面，通常能涨一个点。

词典法的硬伤也很明显：领域迁移几乎为零，“这手机薄得离谱”里的“离谱”在通用词典里是负向，在这句里是褒义。所以它只能当过渡方案。

3.2 TF-IDF 加线性模型：性价比之王

这条路是我所有项目的默认起点。原因很简单：训练只要几十秒，可解释性好（能直接看哪些词权重最高），在小样本下不容易过拟合，而且它给出的指标能帮你判断数据质量。

中文场景下第一步是分词。jieba是绕不开的选择，但有三个参数必须调：

• 自定义词典。把领域词加进去，比如“续航”“客服态度”“性价比”“包装破损”，否则会被切碎成没有意义的片段。这一步对短文本情感分析的影响能到两三个点。
• 停用词表。通用停用词表要补，评论里的“的、了、是、就、还、也”这类虚词对极性判断贡献很小，但“不、没、别”这类否定词绝对不能进停用词表，进一次错一片。
• 词性过滤。只保留名词、动词、形容词、副词，能有效降维并去掉大量噪声。

特征工程部分，TfidfVectorizer有几个参数值得花时间调：

from sklearn.feature_extraction.text import TfidfVectorizer vec = TfidfVectorizer( tokenizer=jieba_tokenize, # 自定义分词函数 ngram_range=(1, 2), # 单词 + 二元组 min_df=3, # 出现在少于 3 篇文档里的词丢弃 max_df=0.85, # 出现在 85% 以上文档里的词丢弃（太通用） max_features=50000, # 特征维度上限 sublinear_tf=True, # 用 1+log(tf) 替代 tf，压制高频词 use_idf=True, norm="l2", )

sublinear_tf=True这个参数特别值得说。原始词频是线性的，一个词出现十次权重就是出现一次的十倍，但情感表达往往不是这样——“差”出现一次和出现五次，情感强度差别没那么大。取对数之后，高频词的权重被压下来，模型的稳定性明显提升。ngram_range=(1,2)是为了捕捉“不+好”“太+贵”这种二元组合，中文里否定和程度修饰经常是相邻两个字，二元组能部分解决否定翻转问题。

分类器我用逻辑回归起步，C值在 0.5 到 4 之间网格搜一下，solver='liblinear'在中等规模稀疏数据上比较快。想要再高一点点可以试 LinearSVC 或者朴素贝叶斯做对比，通常差距在一两个点内，选哪个看你的部署环境。

什么时候该停在这条路线？如果宏 F1 已经到 0.85 以上，且业务方对精度没有极致要求，我建议就用它。它的推理成本低到可以忽略，一千条评论批量处理不到一秒，维护成本也低，模型文件就几兆。很多团队是被“必须用深度学习”的心理惯性推着走，最后发现多花了两周，涨了两个点，推理成本涨了二十倍。

3.3 词向量加深度模型：捕捉语序的中间档

当数据量上到每类两千条以上，TF-IDF 的天花板开始显现——它本质上是个词袋，词序信息全丢了，“狗咬人”和“人咬狗”在它眼里一样。这时候可以考虑词向量加卷积或循环网络。

常见的做法是用预训练词向量初始化嵌入层（中文可以用在大规模语料上训好的向量），然后接 TextCNN 或多层 BiLSTM。TextCNN 的结构很简单：不同尺寸的卷积核（3、4、5）并行提取 n-gram 特征，最大池化，全连接输出。它在短文本上效果很好，训练也快，是性价比不错的选择。BiLSTM 加注意力在长文本上表现更好，但训练慢，调参更麻烦。

这条路线的性价比我认为是四条里最低的——它比 TF-IDF 涨三到五个点，比预训练模型低三到五个点，处在一个尴尬的中间位置。除非你的场景是长文本、强语序依赖（比如带大量转折的长篇测评），否则我一般会跳过它，直接从 TF-IDF 跳到预训练微调。

如果要试，有两点经验：嵌入层先冻结训练两轮再解冻，不然随机初始化的分类头梯度太大会把预训练词向量带偏；另外一定要加dropout（0.3 到 0.5）和早停，这类模型在小数据上过拟合得飞快。

3.4 预训练模型微调：精度天花板与现实成本

到这一档，微调的套路已经很成熟了：加载中文预训练模型，接一个分类头，用较小的学习率（2e-5到5e-5）训练三到四个 epoch，warmup_ratio设 0.1，max_length中文短评论 64 到 128 基本够用。

几个实战参数我给一下具体值，这些是我反复试出来比较稳的：

关于max_length，我建议先统计一遍训练集长度分布，取 95 分位数。超长文本截断是有信息损失的，一个处理办法是分段预测再聚合：把长文按句切块，每块单独预测概率，最后按块长加权平均，或者取最负的那一块作为整体极性（因为负面信号往往藏在某一两句里，取平均会被稀释）。

预训练模型的现实成本也要说清楚：单卡 GPU 微调一个 1 亿参数级别的模型，一万条数据大概二十到四十分钟；推理阶段，CPU 上单条几十毫秒，GPU 批量可以做到单条几毫秒。如果要上高并发，做动态量化（把权重从 float32 压到 int8）通常能提速两到三倍，精度损失在一个点以内，这个交易很划算。

4. 一套可复现的完整流程

这一节我把从原始数据到上线推理的完整代码串一遍，用的是一份假设的两万条中文商品评论，二分类正负。你可以把这套脚本当成模板，改改路径就能跑自己的数据。

4.1 目录结构与依赖

我习惯按下面这个结构组织，好处是每一阶段的产物都落盘，方便回溯和复用，不用每次从头跑：

sentiment/ ├── data/ │ ├── raw/ # 原始数据 │ ├── clean/ # 清洗后 │ └── split/ # 切分后的 train/val/test ├── models/ # 模型文件 ├── reports/ # 评估报告、混淆矩阵 └── src/ ├── clean.py ├── train_baseline.py ├── train_bert.py └── predict.py

依赖很简单：pandas、scikit-learn、jieba、numpy，微调阶段再加torch和transformers。版本不要追新，锁一个跑得通的版本写进requirements.txt，半年后回来复现能省很多事。

4.2 清洗与预处理

import re, pandas as pd def normalize(text: str) -> str: text = re.sub(r"<[^>]+>", "", text) # 剥 HTML text = re.sub(r"http\S+", "", text) # 去链接 text = re.sub(r"(.)\1{2,}", r"\1\1", text) # 连续重复字符压缩 text = text.replace("\u3000", " ").strip() text = re.sub(r"\s+", " ", text) return text AD_PATTERN = re.compile(r"(加V|领红包|返现|二维码|薇信|威信|私聊)") def is_valid(row): t = row["text"] if len(t) < 4: return False if AD_PATTERN.search(t): return False if re.fullmatch(r"[\d\W_]+", t): return False # 纯数字符号 return True df = pd.read_csv("data/raw/reviews.csv") df["text"] = df["text"].astype(str).map(normalize) df = df.drop_duplicates(subset=["text"]) df = df[df.apply(is_valid, axis=1)] df["label"] = (df["star"] >= 4).astype(int) # 1 正 0 负，三星及以下归负 df[["text", "label"]].to_csv("data/clean/train_ready.csv", index=False)

注意star >= 4这个映射是我在 1.2 节提到的经验值。你可以先用 3 星做中性单独跑一版对比，看指标和业务需求的匹配度再定。

切分用分层抽样：

from sklearn.model_selection import train_test_split train, rest = train_test_split(df, test_size=0.3, stratify=df["label"], random_state=42) val, test = train_test_split(rest, test_size=0.5, stratify=rest["label"], random_state=42)

4.3 Baseline 训练与交叉验证

import jieba, numpy as np from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline from sklearn.model_selection import StratifiedKFold, cross_val_predict from sklearn.metrics import classification_report, confusion_matrix, f1_score STOP = set(open("stopwords.txt", encoding="utf-8").read().split()) KEEP_NEG = {"不", "没", "没有", "别", "无", "非"} STOP -= KEEP_NEG # 保护否定词，别被停用词表误杀 def tok(text): return [w for w in jieba.lcut(text) if w.strip() and w not in STOP] pipe = Pipeline([ ("tfidf", TfidfVectorizer(tokenizer=tok, token_pattern=None, ngram_range=(1, 2), min_df=3, max_df=0.85, max_features=50000, sublinear_tf=True)), ("clf", LogisticRegression(C=1.0, class_weight="balanced", max_iter=1000, solver="liblinear")), ]) skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) oof_pred = cross_val_predict(pipe, train["text"], train["label"], cv=skf, method="predict") print(classification_report(train["label"], oof_pred, digits=4)) print(confusion_matrix(train["label"], oof_pred))

用cross_val_predict拿到的折外预测做评估，比单次切分稳得多，尤其样本量小的时候，单次切分的方差可能有三四个点。

4.4 评估：别只看准确率

这里必须强调一件事：在不平衡数据上，准确率是个骗人的指标。负类占 80% 的数据集，模型全predict 负类，准确率 80%，但它一点用都没有。要看的是：

• 宏平均 F1：各类 F1 的算术平均，对少数类公平，这是我的主指标。
• 少数类的召回率：如果业务是“把负面反馈全捞出来”，漏报（FN）的代价远高于误报（FP），那就该盯召回。
• 混淆矩阵：看错误集中在哪个方向。如果大量真负被判成正，通常是标签口径或特征缺失问题。
• 阈值曲线：predict_proba输出的概率配合不同阈值，画出查准率与查全率的权衡曲线，让业务方自己选工作点。

阈值调整这块有个具体做法：模型默认阈值 0.5，但如果业务要“宁可错杀不可放过”，把阈值降到 0.35，召回能涨五到八个点，代价是精确率掉三到五个点。这个取舍不该由算法工程师拍板，应该拿着曲线去找需求方谈。

再补一个容易忽略的点：分领域看指标。整体 F1 0.90，但如果按品类拆开，家电类 0.93、服饰类 0.81，那问题很可能出在服饰类的文本特点（大量描述尺码、面料的主观词汇）上，需要针对性补标注。整体指标掩盖分层问题是最常见的事故来源。

4.5 Badcase 分析：模型提升的真正来源

我看过很多人的迭代流程：训练、看指标、调参、再训练，循环十几次涨了一个点。真正高效的做法是把一半时间花在 badcase 上。

我一般抽 200 条验证集判错的样本，逐条打标签归因，分类整理成下面这种表：

这张表出来之后，迭代方向就非常明确了。如果“标签错误”占比超过 10%，别再调模型了，回去清理数据。这是最浪费时间的坑——你在拟合噪声，指标虚高，上线必崩。

另一个实用技巧是看模型置信度分布。把验证集样本按预测概率排序，看两端（接近 0 和接近 1 的）判错的样本，这些是“模型非常自信但错了”的硬骨头，往往能暴露特征工程的根本缺陷；看中间段（0.4 到 0.6）判错的，多半是标签模糊，属于正常损耗，不用过度优化。

4.6 上线前的推理优化

模型训完不代表能用。上线前要处理三件事：

批处理与缓存。单条推理的开销主要浪费在框架调用上，批量推理能提升五到十倍的吞吐。对于重复文本（比如模板化的好评），加一层结果缓存，命中率往往不低。

模型量化与导出。把模型导出成通用推理格式，做动态量化（int8），在 CPU 上通常能提速两到三倍，内存占用降一半以上。这一步的精度损失我实测一般在一个点以内，值得做。

监控指标埋点。上线不是终点。要监控：预测标签的分布漂移（正负比突然从 7:3 变成 5:5，说明数据源变了）、输入文本长度分布、低置信度样本占比、以及定期的人工抽检准确率。我一般每周抽 100 条人工复核，这个数字比任何离线指标都真实。

5. 踩过的坑与排查速查表

下面这些是我在不同项目里真实撞过的，按“症状—可能原因—排查动作—解决”整理，出问题的时候可以直接对着查。

5.1 常见问题速查

5.2 几条不写在文档里的经验

第一，先做数据审计，再做模型。每个新项目我都会先跑三件事：类别分布、文本长度分布、随机抽 100 条人工看。这三步二十分钟，能提前发现 80% 的问题。我见过一个项目，训了一周精度上不去，最后发现是 CSV 导出时把标签列错位了一行，全部标签都是错的。

第二，把“中性”当成垃圾筐要谨慎。很多人习惯把所有模棱两可的样本都扔进中性类，结果中性类变成一个大杂烩，模型在里面学不到任何东西，还拉低了整体指标。中性类的定义必须清晰：明确表达无倾向（“收到了，还没用”），而不是“我判断不出来”。

第三，别用测试集调参。这条听起来是常识，但实际操作中特别容易破功——你在验证集上试了二十组参数，其实已经在过拟合验证集了。我的做法是留一个只跑一次的最终测试集，迭代全程不碰它，最后报告的那个数才是可信的。

第四，模型上线后指标下降，先查上游。九成的情况不是模型退化，而是数据管道出问题：字段格式变了、爬虫抓到了新板块、清洗规则把某类合法样本误杀了。上线后第一个月我每周都会对一遍线上样本和训练样本的文本长度分布，两次都靠这个提前发现了上游改动。

第五，考虑做一个人工复核队列。把模型置信度在 0.4 到 0.6 之间的样本自动送人工复核，复核结果回流成训练数据。这个闭环跑三个月，模型的表现会比任何离线调优都扎实——它在学你业务里真实存在的边界情况，而不是测试集里的。

6. 一点个人体会

前面这套流程我反复用在不同的项目上，每次都会有点微调，但骨架没变过：规则跑通 → baseline 立标尺 → badcase 找方向 → 预训练提精度 → 监控防漂移。有几次我贪快跳过 baseline 直接上预训练，最后都绕回来补做了，因为没有一个便宜的对照组，你根本判断不了模型当前的表现是好还是坏。

另外说个我最近越来越认同的观点：情感分析这类任务的瓶颈，早就不在模型结构上了。同一个预训练模型，标签干净、口径统一的团队能做到 0.95，标注混乱的团队怎么调都是 0.85。如果你现在手上这个项目卡在 0.85 上不去，别急着换模型，去把验证集里判错的样本一条条看一遍，多半能发现问题——而且大概率不是模型的问题。

至于后面还能往哪扩展，我自己试过的两条路都值得走：一是往方面级走，用句子级切分加实体抽取，把“物流慢”“质量好”拆出来，这东西对业务的价值比整体极性高得多；二是做跨领域迁移，在一个品类上训好的模型，拿到新品类上用少量样本微调，能省掉大半标注成本。这两条路都比在原地调参有意思，也更能解决问题。