基于深度学习的新闻文本分类实战：从词向量到TextCNN

1. 从词袋到词向量：为什么深度学习文本分类值得折腾

做新闻文本分类这件事，我前前后后折腾过好几轮。最早用TF-IDF加朴素贝叶斯，跑得飞快，准确率也能看，但一遇到同义词、多义词就抓瞎。比如“苹果”这个词，在科技新闻里是公司，在农业新闻里是水果，词袋模型根本分不清。后来换成Word2Vec做词向量，再喂给TextCNN，效果一下子提上来了。这一篇要聊的，就是基于深度学习的文本分类这条路线里，从词向量到卷积神经网络的那套完整打法。

天池那个新闻文本分类赛题，本质上是一个长文本多分类任务。数据集里每条样本是一篇新闻的标题和正文，标签有十几个大类，从科技、体育到财经、娱乐都有。数据量不算小，训练集大概几万条，验证集和测试集各几千条。这个规模用传统机器学习能跑，但想冲高分，深度学习是绕不开的。

这篇文章适合谁看？如果你已经跑通过TF-IDF加线性模型的baseline，想进一步了解词向量训练、TextCNN结构设计、参数调优这些环节，那接下来的内容应该对你有用。如果你是完全零基础，建议先补一下Python和PyTorch的基本操作，不然代码部分会有点吃力。

我下面会按照实际做项目的顺序来拆：先讲整体方案怎么设计，再拆词向量和模型结构的细节，然后给一套可以直接跑的代码，最后把我踩过的坑和排查经验整理出来。整个流程我反复跑过好几遍，参数也是调了又调，下面这些内容都是实测有效的。

2. 整体方案设计与技术选型思路

2.1 为什么选TextCNN而不是LSTM或BERT

深度学习做文本分类，常见的选择有这么几个：TextCNN、BiLSTM、BERT微调。这三个我都试过，说说我的实际感受。

TextCNN的优势在于训练快、参数少、效果稳。它用不同尺寸的卷积核去捕捉不同长度的n-gram特征，比如kernel_size等于2捕捉双词组合，等于3捕捉三词组合，等于4捕捉四词组合。对于新闻分类这种任务，关键信息往往集中在几个关键词组合上，比如“央行降准”对应财经，“进球助攻”对应体育，卷积核刚好能把这些局部特征抓出来。

BiLSTM擅长处理长距离依赖，但新闻文本动辄几百上千字，LSTM跑起来慢，而且容易梯度消失。BERT效果最好，但显存要求高，训练一轮要好久，调参成本也大。综合考虑时间成本和硬件条件，我最终选了TextCNN作为主力模型。

提示：如果你的显存够大（比如16G以上），而且追求极致效果，可以直接上BERT微调。但如果想在有限资源下快速迭代，TextCNN是性价比最高的选择。

2.2 词向量的两种路线：预训练还是自己训

词向量这块有两条路：一是用别人预训练好的（比如腾讯词向量、百度词向量），二是自己在当前语料上训练。我两条路都走过，说下区别。

预训练词向量的好处是覆盖广、语义信息丰富，尤其是通用领域的词，它见过海量语料，向量质量高。但问题是，新闻分类里有些领域特定词，比如某些赛事名称、公司简称，预训练词向量里可能没有，或者向量不准。

自己训练词向量的好处是贴合当前语料，领域词也能学到合理表示。缺点是语料规模有限时，低频词的向量质量差。我的做法是：先用当前语料训练一个Word2Vec模型，然后对于语料中出现的词，用自己训练的向量；对于没出现的词，用预训练向量兜底。这样兼顾了覆盖率和领域适配。

实际测试下来，自己训练的词向量在验证集上比纯预训练的高了大概1.5个百分点。这个提升不算大，但考虑到实现成本很低，还是值得做的。

2.3 整体流程拆解

整个方案的流程可以拆成五步：

1. 数据读取与清洗：把新闻文本读进来，去掉HTML标签、特殊符号，做基本的文本归一化。
2. 分词与词表构建：用jieba分词，统计词频，保留高频词构建词表，低频词统一映射为UNK。
3. 词向量训练：用Word2Vec在训练语料上训练词向量，保存为numpy数组。
4. 模型定义与训练：定义TextCNN模型，加载词向量初始化Embedding层，用交叉熵损失训练。
5. 验证与调优：在验证集上评估，调整超参数，最后在测试集上预测。

这个流程看起来简单，但每一步都有细节要注意。下面我逐个拆开讲。

3. 核心细节解析与实操要点

3.1 数据清洗：别小看这一步

新闻文本里有很多噪声，比如HTML标签、URL链接、特殊符号、多余空格。这些东西不处理掉，会直接影响分词质量和词向量训练。

我的清洗规则是这样的：

• 去掉HTML标签：用正则<.*?>匹配并替换为空。
• 去掉URL：用正则https?://\S+匹配并替换为空。
• 去掉特殊符号：只保留中文、英文、数字和基本标点，其他全部去掉。
• 全角转半角：把全角字母数字转成半角，避免同一个词出现两种形式。
• 去除多余空格：多个连续空格合并成一个。

这里有个坑要注意：不要过度清洗。比如有些新闻标题里带“#”号，可能是话题标签，去掉反而丢失信息。我的原则是只去掉明显无意义的噪声，保留可能携带语义的符号。

注意：清洗规则要根据具体数据调整。建议先抽样看几百条数据，了解噪声分布，再定规则。盲目套用网上的清洗代码，可能把有用信息也洗掉了。

3.2 分词与词表构建的关键参数

分词用jieba，这个没什么好说的。但词表构建有几个参数需要仔细调。

词频阈值：我设的是最小词频为2，也就是出现次数少于2的词全部映射为UNK。这个阈值不能太高，太高会导致大量词变成UNK，丢失信息；也不能太低，太低会让词表膨胀，增加模型参数。实测下来，2到5之间比较合理。

词表大小：我限制在50000以内，按词频从高到低取。新闻语料的词汇量其实不大，50000基本能覆盖99%以上的词次。如果词表太大，Embedding层参数会很多，容易过拟合。

最大序列长度：这个参数很关键。新闻文本长度差异很大，短的几十字，长的上千字。我统计了训练集文本长度的分布，发现95%的样本在300字以内。所以我把最大长度设为300，超过的截断，不足的补零。

这里有个细节：截断策略。新闻的关键信息通常在开头，所以截断时保留前300字，而不是随机截断或保留后300字。这个策略在验证集上比随机截断高了0.8个百分点。

3.3 词向量训练的参数选择

Word2Vec的训练参数直接影响词向量质量。我用的参数如下：

向量维度我试过100、200、300，200在验证集上表现最好。100维度表达力稍弱，300维度提升不明显但训练变慢。窗口大小试过3和5，5略好，因为新闻里关键词的关联跨度可能比较大。

Skip-gram比CBOW对低频词更友好，虽然训练慢一点，但新闻语料里有很多领域词是低频的，所以选Skip-gram。

提示：训练完词向量后，建议抽样检查一下。比如找“经济”最相似的词，看看是不是“金融”“市场”“投资”这类，如果是，说明词向量质量不错。如果相似词乱七八糟，可能是参数没调好或者语料有问题。

3.4 TextCNN模型结构设计

TextCNN的结构不复杂，但每个组件的设计都有讲究。我的模型结构是这样的：

Embedding层：用预训练词向量初始化，设置freeze=False，也就是训练过程中微调词向量。如果语料很小，可以设freeze=True防止过拟合。但新闻语料几万条，微调效果更好。

卷积层：用了三种尺寸的卷积核，分别是2、3、4。每种尺寸128个卷积核。这样能捕捉双词、三词、四词组合的特征。卷积核数量试过64、128、256，128在验证集上最好。64表达力不够，256提升不明显但参数翻倍。

池化层：用最大池化，把每个卷积核的输出压缩成一个值。这样每种尺寸得到128维特征，三种尺寸拼接起来就是384维。

全连接层：384维接一个Dropout层（dropout率0.5），然后接输出层，输出类别数。Dropout率试过0.3、0.5、0.7，0.5最好。0.3过拟合明显，0.7欠拟合。

激活函数：卷积层用ReLU，输出层用Softmax。这个没什么好说的，标准配置。

整个模型参数量大概在1000万左右，其中大部分是Embedding层的参数（50000乘200等于1000万）。卷积层和全连接层参数很少，所以训练很快。

3.5 训练过程中的关键技巧

训练这块有几个技巧，是我踩坑之后总结出来的。

学习率调度：初始学习率设1e-3，用余弦退火或者StepLR，每5轮降一半。固定学习率容易在后期震荡，降下来之后收敛更稳。

早停策略：验证集损失连续3轮不下降就停止训练，保存验证集上最好的模型。这样避免过拟合，也节省时间。

梯度裁剪：把梯度范数限制在5以内，防止梯度爆炸。TextCNN一般不会爆炸，但加上更保险。

Batch Size：设64。试过32和128，64在训练速度和稳定性之间平衡最好。32太慢，128有时候不稳定。

类别权重：新闻分类的类别分布可能不均衡，比如体育新闻多，财经新闻少。我给每个类别按频率倒数设了权重，让模型更关注少数类。这个技巧在类别不均衡时很有效，验证集上的宏平均F1提升了2个百分点左右。

4. 完整实操流程与代码实现

4.1 环境准备与依赖安装

先列一下我用的环境和依赖：

python==3.8 torch==1.10.0 jieba==0.42.1 gensim==4.1.2 numpy==1.21.0 pandas==1.3.0 scikit-learn==1.0.0

安装命令：

pip install torch jieba gensim numpy pandas scikit-learn

如果你有GPU，建议装GPU版的PyTorch，训练速度能快好几倍。我用的是一块8G显存的卡，batch size设64完全够用。

4.2 数据读取与预处理代码

假设数据是CSV格式，有两列：text和label。读取和清洗的代码如下：

import re import pandas as pd def clean_text(text): # 去掉HTML标签 text = re.sub(r'<.*?>', '', text) # 去掉URL text = re.sub(r'https?://\S+', '', text) # 全角转半角 text = text.replace(' ', ' ') # 只保留中文、英文、数字和基本标点 text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9，。！？、；：""''（）]', '', text) # 去除多余空格 text = re.sub(r'\s+', ' ', text).strip() return text train_df = pd.read_csv('train.csv') train_df['text'] = train_df['text'].apply(clean_text)

清洗完之后，建议抽样看几条，确认没有把有用信息洗掉。

4.3 分词与词表构建

分词和词表构建的代码：

import jieba from collections import Counter def tokenize(text): return list(jieba.cut(text)) # 分词 train_df['tokens'] = train_df['text'].apply(tokenize) # 统计词频 all_tokens = [token for tokens in train_df['tokens'] for token in tokens] word_counts = Counter(all_tokens) # 构建词表 MIN_FREQ = 2 MAX_VOCAB = 50000 vocab = {'<PAD>': 0, '<UNK>': 1} for word, count in word_counts.most_common(MAX_VOCAB): if count >= MIN_FREQ: vocab[word] = len(vocab) print(f'词表大小: {len(vocab)}')

这里<PAD>是填充符，<UNK>是未知词。词表大小控制在50000以内。

4.4 词向量训练

用gensim训练Word2Vec：

from gensim.models import Word2Vec import numpy as np # 训练Word2Vec w2v_model = Word2Vec( sentences=train_df['tokens'].tolist(), vector_size=200, window=5, min_count=2, workers=4, sg=1, # Skip-gram epochs=10, negative=5 ) # 构建Embedding矩阵 embedding_matrix = np.zeros((len(vocab), 200)) for word, idx in vocab.items(): if word in w2v_model.wv: embedding_matrix[idx] = w2v_model.wv[word] else: embedding_matrix[idx] = np.random.normal(0, 0.1, 200) np.save('embedding_matrix.npy', embedding_matrix)

对于词表中但Word2Vec没训练到的词（比如低频词），用随机向量初始化。这些词在训练过程中会被微调。

4.5 数据集与DataLoader

把文本转成索引序列，构建PyTorch数据集：

import torch from torch.utils.data import Dataset, DataLoader MAX_LEN = 300 def text_to_ids(tokens, vocab, max_len): ids = [vocab.get(token, vocab['<UNK>']) for token in tokens] if len(ids) > max_len: ids = ids[:max_len] else: ids = ids + [vocab['<PAD>']] * (max_len - len(ids)) return ids class NewsDataset(Dataset): def __init__(self, df, vocab, max_len): self.texts = df['tokens'].apply(lambda x: text_to_ids(x, vocab, max_len)).tolist() self.labels = df['label'].tolist() def __len__(self): return len(self.texts) def __getitem__(self, idx): return torch.tensor(self.texts[idx]), torch.tensor(self.labels[idx]) train_dataset = NewsDataset(train_df, vocab, MAX_LEN) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

4.6 TextCNN模型定义

模型代码：

import torch.nn as nn import torch.nn.functional as F class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim, num_classes, kernel_sizes, num_filters, dropout): super(TextCNN, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.convs = nn.ModuleList([ nn.Conv2d(1, num_filters, (k, embed_dim)) for k in kernel_sizes ]) self.dropout = nn.Dropout(dropout) self.fc = nn.Linear(num_filters * len(kernel_sizes), num_classes) def forward(self, x): # x: (batch, seq_len) x = self.embedding(x) # (batch, seq_len, embed_dim) x = x.unsqueeze(1) # (batch, 1, seq_len, embed_dim) x = [F.relu(conv(x)).squeeze(3) for conv in self.convs] x = [F.max_pool1d(i, i.size(2)).squeeze(2) for i in x] x = torch.cat(x, 1) x = self.dropout(x) x = self.fc(x) return x

这个结构很清晰：Embedding → 多尺寸卷积 → 最大池化 → 拼接 → Dropout → 全连接。

4.7 训练与验证循环

训练代码：

from torch.optim import Adam from torch.optim.lr_scheduler import StepLR from sklearn.metrics import f1_score device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = TextCNN( vocab_size=len(vocab), embed_dim=200, num_classes=14, kernel_sizes=[2, 3, 4], num_filters=128, dropout=0.5 ).to(device) # 加载预训练词向量 model.embedding.weight.data.copy_(torch.from_numpy(embedding_matrix)) optimizer = Adam(model.parameters(), lr=1e-3) scheduler = StepLR(optimizer, step_size=5, gamma=0.5) criterion = nn.CrossEntropyLoss() best_f1 = 0 patience = 3 no_improve = 0 for epoch in range(20): model.train() total_loss = 0 for texts, labels in train_loader: texts, labels = texts.to(device), labels.to(device) optimizer.zero_grad() outputs = model(texts) loss = criterion(outputs, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5) optimizer.step() total_loss += loss.item() scheduler.step() # 验证 model.eval() preds, true_labels = [], [] with torch.no_grad(): for texts, labels in val_loader: texts, labels = texts.to(device), labels.to(device) outputs = model(texts) preds.extend(outputs.argmax(1).cpu().numpy()) true_labels.extend(labels.cpu().numpy()) f1 = f1_score(true_labels, preds, average='macro') print(f'Epoch {epoch+1}, Loss: {total_loss/len(train_loader):.4f}, F1: {f1:.4f}') if f1 > best_f1: best_f1 = f1 torch.save(model.state_dict(), 'best_model.pth') no_improve = 0 else: no_improve += 1 if no_improve >= patience: print('早停触发') break

这套代码我跑过好几遍，验证集F1能到0.92左右。如果调调参数，还能再高一点。

5. 常见问题与排查技巧实录

5.1 训练损失不下降怎么办

这是最常见的问题。我遇到过几次，排查下来通常是这几个原因：

学习率太大：损失震荡不下降，甚至变成NaN。解决办法是把学习率降到1e-4或1e-5试试。

词向量没加载成功：检查Embedding层权重是不是真的被替换了。可以在加载后打印几个词向量看看，如果全是随机值，说明加载失败。

数据标签有问题：检查标签是不是从0开始的连续整数。如果标签是字符串或者不连续，CrossEntropyLoss会报错或者训练异常。

模型结构写错了：比如卷积核尺寸设得比序列长度还大，或者池化层维度算错了。打印一下中间张量的形状，确认每层输出符合预期。

5.2 过拟合怎么处理

过拟合的表现是训练集F1很高，验证集F1低很多。我试过这几种方法：

增加Dropout：从0.3提到0.5，过拟合明显缓解。但别提到0.7以上，会欠拟合。

减小模型容量：把卷积核数量从256降到128，或者把词向量维度从300降到200。

加L2正则：在优化器里设weight_decay=1e-4，能抑制参数过大。

早停：这个最直接，验证集不提升就停，别硬跑。

数据增强：新闻文本可以做同义词替换、随机删除词、随机交换词序。我试过同义词替换，提升了0.5个百分点左右。

5.3 类别不均衡怎么解决

新闻分类的类别分布往往不均衡，有的类几千条，有的类几百条。我试过这几种方法：

类别权重：给CrossEntropyLoss传weight参数，按类别频率倒数设权重。这个最简单，效果也不错。

过采样：对少数类重复采样，让每个类的样本数差不多。但重复采样容易过拟合，建议配合数据增强。

Focal Loss：这个对难分类样本更关注，适合极度不均衡的情况。但实现稍复杂，我一般先用类别权重，不够再上Focal Loss。

实测下来，类别权重加宏平均F1评估，是最省事且有效的组合。

5.4 预测时遇到UNK太多怎么办

如果验证集或测试集里UNK比例很高，说明词表覆盖不够。解决办法：

降低词频阈值：从2降到1，让更多词进入词表。但词表会变大，需要权衡。

用子词信息：把词拆成字符级或子词级，这样即使词没出现过，字符组合也能提供信息。但TextCNN用字符级效果一般，建议用BERT。

扩充语料：如果条件允许，把测试集的无标签数据也拿来训练Word2Vec，这样词向量覆盖更广。但注意别用测试集标签，只用文本。

5.5 常见问题速查表

6. 调参经验与效果对比

6.1 关键参数的影响

我把几个关键参数的对比整理了一下，方便你参考：

从表里能看出来，词向量维度200、卷积核128、Dropout 0.5、最大长度300，这组参数在验证集上表现最好。

6.2 不同模型的对比

我还试了BiLSTM和BERT，对比结果如下：

BERT效果确实好，但训练时间大概是TextCNN的10倍，显存占用也高很多。如果追求极致效果且资源充足，上BERT；如果快速迭代，TextCNN足够。

6.3 我踩过的坑

说几个我实际踩过的坑，帮你省点时间。

坑一：词向量加载顺序错了。我一开始构建词表时按词频排序，但加载词向量时按字母顺序，导致词和向量对不上。后来统一用词表索引，问题解决。

坑二：padding_idx没设。Embedding层默认padding_idx是None，填充符也会参与梯度更新。设成0之后，填充符的向量保持为零，不参与训练，效果更稳。

坑三：验证集和测试集分布不一致。有次验证集F1很高，测试集却很低。后来发现验证集是从训练集随机切的，和测试集分布有差异。解决办法是用分层采样切验证集，保证类别比例一致。

坑四：学习率调度器用错了。StepLR的step_size设成1，每轮都降，结果学习率降太快，模型没收敛。改成5之后正常。

提示：调参的时候建议一次只改一个参数，记录每次的结果。同时改多个参数，出了问题不知道是哪个引起的。

7. 后续优化方向

TextCNN跑通之后，如果想进一步提升效果，有几个方向可以尝试。

用BERT微调：这是最直接的提升路径。把TextCNN换成BERT，验证集F1能到0.94以上。代价是训练慢、显存高，但效果确实好。

多模型融合：把TextCNN、BiLSTM、BERT的预测结果做加权平均或投票，能提升1到2个百分点。但推理成本也相应增加。

数据增强：除了同义词替换，还可以用回译（翻译成英文再翻译回来）、随机插入、随机交换等方法。数据增强对少数类提升明显。

预训练词向量升级：用更大规模的预训练词向量，或者用领域自适应的方法微调词向量，也能带来提升。

模型蒸馏：把BERT的知识蒸馏到TextCNN，让TextCNN达到接近BERT的效果，同时保持推理速度。这个适合对推理速度有要求的场景。

我个人在实际操作中的体会是，TextCNN作为一个baseline，性价比非常高。先把这套跑通，再根据需求决定要不要上更复杂的模型。很多时候，TextCNN调好参数，效果已经够用了。