简介：文本分类是自然语言处理中最基础也最实用的任务之一，广泛应用于舆情监控、工单自动分派和内容推荐等场景。其核心原理是将非结构化的文本转换为机器可理解的特征表示，再通过机器学习或深度学习模型进行类别预测。传统方法如TF-IDF结合SVM，在数据量有限时往往能取得稳定且高效的效果；而Word2Vec、TextCNN等深度模型则能捕捉更丰富的语义信息。本文以新闻话题分类为切入点，系统讲解数据清洗、分词、特征提取、模型训练与评估的完整流程，并分享类别不均衡、过拟合等实际工程问题的排查经验，帮助开发者快速构建可落地的文本分类系统。 做话题文本分类这个需求，我今年被问到的次数比过去三年加起来都多。说白了，就是给定一段文本，让程序自动判断它属于哪个话题，比如体育、科技、娱乐、财经这种。用 Python 做自然语言处理（NLP）是绕不开的路径，因为 Python 在文本处理、机器学习、深度学习这个生态里实在太全了。这篇文章会把“话题文本分类”这个项目从数据准备、文本预处理、特征工程到模型训练、评估和调优完整走一遍，里面包含可直接运行的代码片段和我踩过的坑。不管你是刚入门 NLP 的学生，还是工作中突然接到文本分类任务的工程师，这篇文章都能给你一条清晰可落地的路线。
我特别想强调一点：很多人一上来就想着“我要用 BERT 微调”，结果数据没洗干净、标签不均衡、评估指标没想清楚，最后模型效果一塌糊涂，还以为是模型不够强。实际上，话题文本分类是一个典型的“8 成时间花在数据上，2 成时间花在模型上”的任务。这篇博文会帮你把关键环节全部打通，而且我会说明白每一步为什么要这么做，不是简单贴一段代码就完事。
1. 项目背景与整体思路
1.1 话题文本分类到底在解决什么问题
话题文本分类是自然语言处理中最经典、最实用的任务之一。它要做的事情可以概括成一句话：给定一条文本，预测它所属的预定义类别。比如新闻稿可以分成政治、经济、体育、娱乐；用户投诉可以分成产品质量、物流、售后；社交平台的帖子可以分成美食、旅行、数码。这个任务看起来简单，但它几乎是所有 NLP 上层应用的基座，垃圾邮件过滤、舆情监控、工单自动分派，本质都是话题分类的变体。
我在实际项目里发现，很多刚接触这个领域的人会把“话题分类”和“情感分类”混淆。情感分类是判断正负面，话题分类是判断内容属于什么领域。比如“这个手机续航太差，但是拍照效果不错”这句话，做情感分类需要输出整体倾向，做话题分类则应该输出“数码”。这也是为什么数据标注的阶段要特别小心，标签定义必须清晰。
从技术角度看，这个话题文本分类项目覆盖了 NLP 的标准流水线：获取数据、文本清洗、分词、去停用词、特征提取、模型选择、训练评估、上线预测。每一个环节都有对应的 Python 库和工具，只要按顺序走通，就能应付绝大多数业务需求。我选择用这个话题来展开，也是因为它最能体现 NLP 的通用方法论，而不是某个特定场景的特殊技巧。
1.2 技术选型：为什么从传统机器学习起步，再引入深度模型
关于技术选型，我先说一个反直觉的结论：对于话题文本分类，传统机器学习方法（TF-IDF + 朴素贝叶斯 / SVM）在很多场景下的表现，反而比复杂的深度学习模型更稳，尤其是在数据量不大时。我有一次做新闻分类，训练集只有两万条，BERT 微调后的准确率比 TF-IDF + SVM 只高了两个百分点，但训练时间慢了几十倍，推理速度也差了一个数量级。所以，如果不是万不得已，我都建议先用传统方法建立一个基线模型，这个基线可以作为后续所有优化的参照物。
深度模型（Word2Vec + LSTM、Transformer 微调）的优势在于能够捕捉文本的语义信息，尤其是同义词、上下文相关的表达。比如“苹果”在“水果价格”和“手机发布”两个话题里含义完全不同，TF-IDF 这种词袋模型无法区分这一点，但词向量和预训练模型可以。不过，深度模型需要的数据量和调参成本都不小，而且在小数据集上容易过拟合，导致泛化能力很差。
我的整体思路是分三步走：第一步，用 TF-IDF + 朴素贝叶斯 / SVM 快速做出一个可用版本，跑通整个流程；第二步，用 Word2Vec 或预训练词向量把文本转成序列，再搭一个简单的循环神经网络（RNN）或者卷积神经网络（CNN）模型；第三步，如果数据量足够大（比如十万条以上），再考虑用 BERT 这类预训练语言模型做微调。这样做的好处是，每一步都有明确的评估指标，你能够直观看到每一层改进到底带来了多少收益，而不是一头扎进深度模型，最后出了问题都不知道是数据的问题还是模型的问题。
2. 数据准备与预处理
2.1 数据来源与标注说明
做文本分类，第一步必然是拿数据。公开数据集里，我常用的是 THUCNews（清华大学新闻分类数据集）和今日头条新闻分类数据集，后者在 GitHub 上就能找到，包含 15 个类别，比如民生、文化、娱乐、体育、财经、房产、汽车、教育、科技、军事、旅游、国际、证券、健康、三农。我一般会从中抽几个类别来做 demo，比如体育、科技、娱乐、财经，这样类别之间区分度够大，便于验证流程。
如果你做的是业务私有数据，那就得先和业务方确认好话题标签体系。这里有个很重要的经验：标签体系一定要互斥且完备。互斥是一条文本只能对应一个标签，完备是所有文本都能落到某个标签。如果业务方说“这个话题既可以算科技也可以算数码”，你就要在标注阶段强制指定优先级规则，否则模型训练时标签之间互相干扰，分类器会懵掉。
数据量方面，我的建议是每个类别至少 2000 条以上，四个类别就是 8000 条，这样训练出的模型才勉强可用。如果你只有几百条，先别急着上模型，优先去扩充数据，或者用预训练模型做 few-shot，不要指望一个简单分类器在多类少量数据上有好效果。另外，拿到数据后一定要做标签分布统计，如果某个类别占到 80%，那这个分类任务就要先想办法处理样本不均衡，否则准确率再高也没意义。
2.2 文本清洗、分词与去停用词实战
文本清洗这个话题，看起来简单，但很多翻车现场都发生在这里。我接到过一份数据，里面全是网页抓下来的新闻标题和正文，夹杂着 HTML 标签、乱码字符、全角半角不统一、一堆换行符。如果这些不清理干净，后面分词和向量化的效果都会大打折扣。清洗的原则是：保留对话题判断有用的信息，去掉噪声。对于中文文本，一般需要做这几件事：去除 HTML 标签、去除 URL、去除 emoji 和特殊符号、统一全角半角、去除多余空白。
清洗完之后就是分词。中文不像英文天然按空格分开，必须用分词工具。我用过 jieba、pkuseg、HanLP，做新闻分类的话 jieba 完全够用，速度快、词典可扩展。pkuseg 在新闻领域的分词准确率会高一些，但速度慢。下面是一段典型的分词代码：
import jieba import re def clean_text(text): # 去除HTML标签 text = re.sub(r'<[^>]+>', '', text) # 去除URL text = re.sub(r'http\S+|www\.\S+', '', text) # 去除特殊符号，只保留中文、英文、数字 text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', ' ', text) # 统一空白 text = re.sub(r'\s+', ' ', text).strip() return text def cut_words(text): return list(jieba.cut(text)) text = "苹果今天发布了新款手机，搭载了更强的芯片，价格也涨了不少。" print(cut_words(clean_text(text))) # 输出：['苹果', '今天', '发布', '了', '新款', '手机', '搭载', '了', '更强', '的', '芯片', '价格', '也', '涨', '了', '不少']你可能会问，为什么要做分词而不是直接把字作为特征？因为中文的词承载了更多的语义信息，比如“手机”“芯片”拆成单字后含义就模糊了。分词之后，通常还要去停用词。停用词就是“了”“的”“也”“在”这类出现频率极高但对话题判断没什么帮助的虚词。我常用哈工大停用词表，同时也会针对具体业务往停用词表里追加自定义词，比如“记者”“报道”“近日”这种在新闻里到处出现但对分类没什么区分的词。
这里有一个容易忽略的细节：分词和去停用词是会直接改变特征空间的，所以必须把清洗、分词、去停用词整合成一个统一的预处理函数，然后应用到所有数据上，包括训练集、验证集和测试集。千万不要训练集一套预处理，测试集另一套预处理，那样会造成特征分布不一致，模型评估结果就是虚高的。
2.3 数据集划分与标签处理
数据准备好后，需要把数据集切分成训练集、验证集和测试集。我的习惯是 8:1:1 的比例，训练集用来学参数，验证集用来调参和早停，测试集用来最终评估。这里要注意，切分数据之前一定要先打乱顺序，否则新闻数据按时间排列的话，前面的类别都是老的，模型很容易学到时间分布而不是话题分布。用 scikit-learn 的 train_test_split 可以轻松完成，如果类别不均衡，还可以设置 stratify 参数，保证切分后每个类别比例与原数据集一致。
标签处理方面，模型不认字符串，需要把话题名映射成整数。比如 {‘体育’: 0, ‘科技’: 1, ‘娱乐’: 2, ‘财经’: 3}，然后转换为一维数组。对于传统模型，标签直接用整数即可；对于深度学习模型，通常还需要把标签转成 one-hot 编码，或者在损失函数里设置稀疏交叉熵，直接用整数标签。我一般用后者，因为不用显式转换，代码更简洁。
预处理做完后，我强烈建议做一个“数据抽查”环节：随机打印几十条处理后的文本，人工看看分词结果是否合理，有没有把关键信息弄丢。这一步虽然费眼睛，但能避免很多隐藏在数据里的问题，比如某个领域词被错误分词拆开，或者停用词表误删了“不”这种否定副词——在分类任务里，“不”对语义影响很大，但在话题分类里它可能没那么重要，这个判断只能靠人工抽查确认。
3. 特征工程与模型训练
3.1 TF-IDF特征提取与贝叶斯/SVM基线模型
特征工程是传统机器学习方法的核心。TF-IDF 是我第一个要推荐的特征表示方法。它把每篇文档表示成一个高维稀疏向量，向量的每一维对应一个词，值由该词在文档中的词频（TF）和在整个语料中的逆文档频率（IDF）共同决定。通俗解释就是：如果一个词在当前文档中出现频率高，但它在其他文档中出现得很少，那这个词对区分这篇文章的话题就很有价值，比如“股价”频繁出现在财经文章里但很少出现在娱乐文章里，它的 TF-IDF 值就会很高。
在 Python 里用 scikit-learn 的 TfidfVectorizer 可以一步到位。它内部已经做了分词前的处理，但我通常会把 jieba 分词的结果以空格拼接后传入，这样可控性更强。下面是一段典型的特征提取和模型训练代码：
from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.svm import LinearSVC from sklearn.pipeline import Pipeline from sklearn.metrics import classification_report # X_train 是分词并预处理后的文本列表，y_train 是标签整数列表 tfidf = TfidfVectorizer(max_features=50000, ngram_range=(1, 2)) model = Pipeline([ ('tfidf', tfidf), ('clf', LinearSVC()), ]) model.fit(X_train, y_train) y_pred = model.predict(X_test) print(classification_report(y_test, y_pred, target_names=target_names))这里有两个重要参数：max_features 和 ngram_range。max_features=50000 表示只保留在所有文档中出现次数最多的 50000 个词作为特征，可以显著降低维度，防止模型过拟合。ngram_range=(1, 2) 表示同时考虑单个词和前后两个词的组合，比如“黄金”和“黄金价格”，“黄金价格”这个二元词组比单独“黄金”更具话题指向性，在新闻分类里能提升一到两个百分点的准确率。不过 ngram 范围也不要设得太高，三元以上特征稀疏化严重，训练速度会明显下降。
分类器的选择上，LinearSVC（线性支持向量机）在文本分类里是默认的“稳赢”选手。它基于线性核，在高维稀疏特征下表现非常好，训练速度也快。朴素贝叶斯 MultinomialNB 是另一个经典选择，适合做概率基线，但整体精度通常略低于 LinearSVC。我在实际项目中有一半以上的场景是直接用 TF-IDF + LinearSVC 交付的，不是因为深度学习不行，而是传统方法足够稳定、可解释性强，出了问题也容易跟踪。
3.2 Word2Vec与文本向量化
TF-IDF 是词袋模型，忽略了词的顺序和上下文。如果你想让模型理解“狗咬人”和“人咬狗”的区别，就需要更复杂的表示方法。Word2Vec 是 2013 年提出的词向量模型，它的核心思想是：用神经网络把每个词训练成一个低维稠密向量，向量之间的空间距离能够反映词的语义相似度，比如“足球”和“篮球”的向量距离比“足球”和“芯片”近得多。
Word2Vec 有两种训练方式：CBOW 和 Skip-gram。CBOW 根据上下文词预测中心词，训练速度快；Skip-gram 根据中心词预测上下文词，在语料较少时的准确度更高。在 Python 里用 gensim 训练很简单：
from gensim.models import Word2Vec # sentences 是分词后的文本列表，每一项是一个list sentences = [["苹果", "发布", "新款", "手机"], ["股票", "市场", "大涨"]] model = Word2Vec(sentences, vector_size=100, window=5, min_count=2, sg=1, epochs=10)训练完成后，我们需要把一篇文本转换成一个向量，常用的方法有平均词向量（把文本中所有词的向量求平均）和加权词向量（按 TF-IDF 权重加总再平均）。平均词向量简单实用，但它把所有词一视同仁，会稀释关键词的贡献。加权词向量效果更好，但计算量稍大。我通常会先算平均词向量，把它和 TF-IDF 特征一起输入到模型里对比效果，而不是一上来就搞复杂方案。
这里有个非常重要的经验：如果你用自己的数据训练 Word2Vec，语料量一定要够大，否则学出来的词向量质量很差。我有一次用 5000 条新闻训练 Word2Vec，得到的词向量和随机初始化没什么区别，下游模型效果还不如 TF-IDF。所以，当数据量不够时，建议使用别人在大规模语料上预训练好的词向量，比如腾讯开源的 Tencent AI Lab Embedding，它有 800 万中文词向量，效果比自己训练好得多。
3.3 基于深度学习的分类模型搭建
用深度学习做话题文本分类，我推荐从最简单的 TextCNN 入手。TextCNN 是 2014 年提出的模型，把文本看作一维的序列，用多个不同尺寸的卷积核去提取 n-gram 级别的特征，然后通过池化层得到固定长度的向量，最后接全连接层和 softmax 输出分类概率。它结构简单、训练快、在小数据集上不容易过拟合，非常适合作为文本分类的深度基线。
在我的实践中，一个基于 PyTorch 的 TextCNN 模型可以在几千条数据上训练得比较稳定，准确率比传统方法高出 3～5 个百分点，尤其是类别间的区分比较模糊时（比如“科技”和“财经”里都会出现“公司”“投资”这类词）。但再往上提升就困难了，需要换更强的预训练模型。
在写代码之前，需要把文本转成词表索引序列。我先用 tokenizer 将分词后的文本映射成整数序列，然后做 padding（填充）或 truncation（截断）到固定长度，比如 max_len=100。这里 pad 的填充值统一用 0，对应的词一般是“ ”。接下来就是模型的嵌入层，通常使用预训练词向量初始化，也可以从随机初始化开始。LSTM 或者 TextCNN 都可以作为特征提取器，我以 TextCNN 为例，代码框架如下：
import torch import torch.nn as nn import torch.nn.functional as F class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim, num_class, num_filters=128): super(TextCNN, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.convs = nn.ModuleList([ nn.Conv2d(1, num_filters, (k, embed_dim)) for k in (2, 3, 4) ]) self.fc = nn.Linear(num_filters * 3, num_class) def forward(self, x): # x shape: [batch, seq_len] x = self.embedding(x) # [batch, seq_len, embed_dim] x = x.unsqueeze(1) # [batch, 1, seq_len, embed_dim] pooled = [] for conv in self.convs: out = conv(x).squeeze(3) # [batch, num_filters, seq_len - k + 1] out = F.relu(out) out = F.max_pool1d(out, out.size(2)).squeeze(2) # [batch, num_filters] pooled.append(out) x = torch.cat(pooled, dim=1) # [batch, num_filters * 3] return self.fc(x)训练循环则使用交叉熵损失函数和 Adam 优化器，配合早停机制。在验证集 loss 连续三轮不下降时把模型保存下来，然后加载最优模型在测试集上评估。这个框架可以作为你后续扩展到 LSTM、GRU、Bert 的通用模板，改动量并不大。
这里我想强调一下 embedding 层初始化。如果使用预训练词向量，你应该在模型初始化后把 embedding 的权重替换成预训练矩阵，并设置 trainable=False 或者用较小的学习率微调。否则，预训练向量会被随机初始化覆盖，等于白加载。我踩过这个坑，训了半天发现效果和随机初始化没区别，最后检查才发现忘了设置 requires_grad=False。
4. 核心环节实现：从训练到评估的完整流程
4.1 完整代码框架与关键步骤说明
现在我们把所有环节串成一个完整流程。为了让你能直接跑起来，我给出一个精简但闭环的示例流程，包含数据加载、预处理、模型训练和评估。这里以下载好的 CSV 文件为例，假设包含两列：content 和 label。
第一步，读取数据并预览标签分布：
import pandas as pd df = pd.read_csv('news_dataset.csv') print(df['label'].value_counts())第二步，定义预处理函数，并应用到整个数据集：
import jieba def preprocess(text): text = clean_text(text) words = cut_words(text) # 去停用词 stopwords = set() with open('stopwords.txt', 'r', encoding='utf-8') as f: for line in f: stopwords.add(line.strip()) words = [w for w in words if w not in stopwords and len(w) > 1] return ' '.join(words) df['processed'] = df['content'].apply(preprocess)第三步，切分数据集，并建立标签映射：
from sklearn.model_selection import train_test_split X = df['processed'].tolist() y = df['label'].astype('category').cat.codes.tolist() target_names = df['label'].astype('category').cat.categories.tolist() X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y )这里我先按 8:2 切分，没有单列验证集。如果是做深度模型，建议再从训练集里切 10% 作为验证集，这样训练循环里的早停才有数据依据。传统机器学习模型通常不需要早停，交叉验证或者直接在测试集上调参也可以，但严格一点的做法是在训练集中留出验证集，把测试集留到最后。
第四步，训练 TF-IDF + LinearSVC 基线模型，并打印测试结果，这部分代码在前文已经给出。拿到基线准确率后，你再决定是否继续做深度模型。如果基线准确率已经达到业务要求（比如 0.93），那就可以直接部署了；如果离要求还差一截，就继续上 TextCNN 或预训练模型。
第五步是深度模型的完整训练流程。数据需要先从文本转为序列，这里我补充一段构造数据集的代码：
from torch.utils.data import Dataset, DataLoader class TextDataset(Dataset): def __init__(self, texts, labels, vocab, max_len=100): self.texts = texts self.labels = labels self.vocab = vocab self.max_len = max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): tokens = self.texts[idx].split() ids = [self.vocab.get(w, 1) for w in tokens] # 1表示UNK ids = ids[:self.max_len] + [0] * max(0, self.max_len - len(ids)) return torch.tensor(ids, dtype=torch.long), torch.tensor(self.labels[idx], dtype=torch.long)再构建词表：
from collections import Counter counter = Counter() for text in X_train: counter.update(text.split()) # 保留出现次数大于等于2的词，0=PAD, 1=UNK vocab = {word: idx + 2 for idx, (word, count) in enumerate(counter.items()) if count > 1} vocab_size = len(vocab) + 2这一段的细节在于 PAD 和 UNK 的编号约定。我习惯让 0 表示 PAD，1 表示 UNK，所以真实的词从 2 开始编号。padding_idx=0 可以确保 padding 位置不参与训练更新，这是一个容易忽略但很关键的细节。
最后就是训练循环，这里省略重复代码。有一点想提醒你：训练时一定要把模型设置为 model.train()，评估时设置为 model.eval()，并包裹torch.no_grad()。不要小看这些细节，我见过至少两个人因为忘了 eval() 模式，导致 BatchNorm 和 Dropout 在推理时仍然生效，测试结果严重偏低。
4.2 模型评估指标与结果解读
分类评估指标，最常用的是准确率（Accuracy），但单纯看准确率会掩盖很多问题。比如样本不均衡时，若 90% 都是“科技”类，盲猜“科技”就能有 90% 准确率，但模型对“娱乐”类完全无效。所以对于话题文本分类，我至少要看三组指标：每个类别的精确率（Precision）、召回率（Recall）和 F1 值，再加一个宏平均 F1（Macro F1）。
用一个例子来说明：假设“财经”类别有 100 条测试文本，模型将其中 80 条正确分类为“财经”，同时把另外 20 条“科技”文本也误判成“财经”。那么财经类别的精确率是 80/(80+20)=0.8，召回率是 80/100=0.8，F1 也是 0.8。如果模型把 100 条财经全部认对了，但还误判了 100 条科技为财经，那么精确率就是 100/(100+100)=0.5，召回率是 1.0，F1 是 0.667。很明显，只有同时看精确率和召回率，才能知道模型是“爱乱猜”还是“太保守”。
在代码层面，直接用 sklearn 的 classification_report 就能输出所有类别指标。我建议在训练完后，除了打印指标，还要把错误分类的样本拿出来看几条。这个“错误分析”步骤是提升模型最重要的依据。比如我发现模型经常把“苹果发布新手机”归到“财经”而不是“科技”，那就说明训练数据里这种带品牌名的样本标注不一致，或者“发布”这个词在两个类别中都很常见，需要补充更多特征词。
另外，混淆矩阵也是必须看的。典型的话题分类混淆矩阵可以帮你发现哪些类别容易被混淆。我做过一个四类新闻分类，结果显示“财经”和“科技”之间互相误判率最高，因为两个类别都高频出现“公司”“投资”“市场”等词。这时可以考虑增加“科技”类别独有的词权重，或者在预处理阶段做类别专用词表增强。
5. 常见问题与排查技巧实录
5.1 数据与预处理阶段易踩的坑
第一坑：标签里面有脏数据。我有次做项目，发现训练集里一个类别叫“科技 ”（后面带个空格），另一个叫“科技”，pandas 统计时是两个标签，导致模型训练时把同一个话题拆成两类，准确率一直上不去。解决方式是做数据清洗时，对标签列也要 strip、去重、统一大小写。
第二坑：编码问题。文件中文字符串经常出现 UnicodeDecodeError。读取数据时建议强制指定encoding='utf-8'，如果报错，尝试gbk或gb18030。我一般会写一个健壮的读取函数，先尝试 utf-8，再尝试 gb18030，最后尝试 latin-1，避免手动反复改编码。
第三坑：分词词典缺失领域词。比如“自然语言处理”这个专有名词，jieba 默认会切成“自然语言”和“处理”，这倒不影响分类，但如果你做的是医疗领域，很多药物名和疾病名会被误切，这时候就需要向 jieba 添加自定义词：jieba.add_word('腰间盘突出')。在分类任务里，领域词典的维护是很重要的一环。
第四坑：停用词表误删了关键词。通用停用词表里可能包含“不”“没”“是”这类词，在情感分类里绝对不能删，但话题分类里影响较小。所以我建议针对具体任务主动检查停用词表，不要无脑套用。另外，数字和英文字母的处理要慎重，比如“5G”是话题分类里的强特征词，如果清洗时把所有数字都去掉，就丢失了重要信息。
5.2 模型训练阶段的坑
第一个常见问题是“训练 loss 不下降”。遇到这种情况，先别怀疑模型结构，按顺序排查：数据标签是否错乱、文本序列是否全为 PAD、学习率是否太大、embedding 层是否初始化异常。我在一次实验里发现，因为忘了把文本转换成序列时过滤空文本，导致一批样本全是空的，模型学不到任何信息。空文本处理策略很简单：如果分词后为空，直接用“未知”标记或者丢弃该样本，但丢弃前要确认它不是某个罕见话题的唯一样本。
第二个问题是“过拟合严重”。表现是训练集准确率接近 100%，测试集准确率差很远。常见原因有：训练数据太少、模型容量太大、正则化不够。解决思路包括：增加 Dropout、加 L2 正则、减小模型维度、做数据增强（如同义词替换、回译）。对 TextCNN 来说，Dropout 设置在 0.3～0.5 之间通常比较合适，太小没效果，太大模型欠拟合。
第三个问题是“类别不均衡”导致小类别 F1 特别低。解决方式有几种：对多数类降采样、对少数类过采样、在损失函数里给少数类更高权重。我在新闻分类里试过把财经类权重调成 1.5，科技类调成 1.0，效果立竿见影。PyTorch 的 CrossEntropyLoss 可以直接传 weight 参数，示例：
class_weights = torch.tensor([1.0, 1.5, 1.0, 2.0]).to(device) criterion = nn.CrossEntropyLoss(weight=class_weights)但权重也不能太大，否则模型会过度偏向少数类，把多数类全判错。比较稳妥的做法是网格搜索一组权重，比如 [1.0, 1.5, 2.0, 3.0]。
第四个问题是“训练速度慢”。如果数据规模较大，建议先用较小版本的模型跑通，再逐步扩大。深度学习模型训练的 batch size 最好用 32 或 64，太大容易 OOM，太小训练不稳定。还可以使用 GPU 加速，PyTorch 中只需把模型和数据都.to('cuda')即可。如果你没有 GPU，不建议直接训练 BERT，先用传统方法或者小模型即可。
5.3 优化方向与个人建议
当你的基线模型已经稳定工作，如何再提升一两个百分点？我一般会按照下面的优先级来尝试。
第一优先级是数据质量。检查是否存在错误标注、标签不确定的样本，往往修正几十条数据的收益比换任何模型都大。可以利用模型预测结果反推：找出置信度低或预测错误的样本，人工复查这些样本的标注是否合理。
第二优先级是特征增强。对于传统模型，可以把 TF-IDF 的 ngram 从 (1,2) 改为 (1,3)，或者加入词性特征、文本长度特征。对于深度模型，可以尝试使用预训练词向量替代随机初始化，或者用哈工大 BERT-wwm 这样更强的中文预训练模型。
第三优先级是模型集成。我在实际项目中经常用“投票集成”：同时训练 LinearSVC、TextCNN 和 BERT 三个模型，最后投票决定类别。集成模型通常比单个模型高 1～2 个百分点，但推理成本也会增加，是否值得要结合业务考虑。
还有一个很容易忽略的点：业务上线阶段的预测逻辑和训练时要保持完全一致。你训练时做了清洗、分词、去停用词，那线上接口收到的文本也必须走同样的预处理函数。我见过有人训练时用 jieba，上线时因为性能压力换了一个更快的分词库，结果特征分布变了，效果惨降。所以建议把预处理函数固化成单独模块，训练和推理共用一个函数。
另外，如果只是做学术实验，可以不用太关注推理速度。但如果是面向用户的系统，比如自动工单分类，模型响应时间必须控制在几百毫秒以内。这时 BERT 这类大模型可能就不合适，可以考虑用蒸馏版模型（如 TinyBERT）或者把文本长度截短，比如只用标题做分类，牺牲一点准确率换取速度。
最后分享一点个人体会
做了这么多年 NLP 项目，我最大的感觉是：话题文本分类的难点从来不在“选哪个模型”，而在“有没有把数据吃透”。我见过有人用一套很复杂的预训练模型，效果却不如一个认真清洗数据后的朴素贝叶斯。所以如果你是新手，千万别急着上 BERT，先老老实实走一遍 TF-IDF + SVM 的流程，把每一步的数据都搞清楚，再逐步升级模型。这样即使以后遇到更复杂的 NLP 任务，你也能快速定位问题出在哪个环节。
最后分享一个小技巧：在模型评估时，不只输出准确率，把每个类别的 Top 错误样本打印出来，人工扫一眼。你会惊讶地发现，很多“模型犯的错”其实是标注员犯的错。把这些错误修正后重新训练，模型的提升往往比你换更厉害的模型还要明显。希望这篇实战记录能帮你少走一些我走过的弯路，祝你在 NLP 话题分类的路上一路顺风。
本文还有配套的精品资源，点击获取
