中文文本分类实战：从搜狗新闻语料到TF-IDF、CNN与预训练模型

简介：基于搜狗新闻语料库的中文文本分类实践资源包，面向机器学习/NLP入门与课设人群，汇聚传统机器学习方法（如scikit-learn）与预训练模型（如Keras神经网络）的完整实现思路。压缩包共15个文件，含6个Python脚本、2个文本数据文件、4张训练过程图表及Markdown说明文档，整体仅208KB，轻量且结构清晰，便于快速定位加载数据、语料划分、模型训练与可视化等环节。已有79人学习下载，属于经答辩评审认可的高分项目。文件内除可运行的main_scikit.py、main_keras.py等主程序外，还提供utils.py、load_data.py、corpus_split.py等工具脚本，以及词云示例、acc_loss曲线图、中文停用词表等辅助资源，可直接复现操作或在此基础上扩展功能；适合计算机、人工智能等相关专业学生用于课程设计、毕业设计或项目演示，也便于入门者对照学习传统算法与深度学习模型的文本分类流程。

1. 搜狗新闻语料库与中文文本分类：为什么值得花一周拆完这套实践

搜狗新闻语料库几乎每个做 NLP 课程设计的人都绕不开，但中文文本分类真正卡人的不是模型结构，而是语料清洗、切分、编码这些脏活。这份高分项目的价值在于，它把传统机器学习、Keras 深度学习和预训练模型三条路线放在同一份搜狗新闻数据上走通了，代码结构非常清楚：main_scikit.py 走 TF-IDF 加线性分类器，main_keras.py 走 Embedding 加 CNN，详细文档里还留了预训练模型的迁移思路。对要做毕设、课设，或者刚入门中文 NLP 的工程师来说，最缺的不是模型原理，而是「数据怎么切、基线怎么打、深度学习怎么接、预训练怎么换」这条完整链路。整套脚本都实际运行过，坑集中在编码、内存和随机种子这几处，下面按我拆包的顺序逐条讲。

2. 项目结构与数据准备：从语料切分到加载器的完整链路

先看整体再动手。文本分类项目里，数据链路的质量直接决定模型效果上限，模型反而不是瓶颈。这套资料把数据处理拆成了四个独立脚本，互不耦合，这也是我推荐先读数据部分的原因。

2.1 文件布局与职责划分

解压后核心文件就下面这些，两条训练主线共用同一套数据处理逻辑：

两条主线互相独立，所以你可以只跑 scikit 也可以只跑 keras，数据处理部分共用。我的建议是先完整跑通 main_scikit.py，再切到 main_keras.py，这样能直观感受传统特征工程和深度学习端到端学习之间的差距。

2.2 corpus_split.py：语料切分逻辑

搜狗新闻原始数据是按类别分目录存放的，每一类下面是一堆 txt 文件。corpus_split.py 做的事是把每个类别的文件按比例拆成三份，保证训练、验证、测试三个集合里类别分布一致。这种分层抽样很重要——如果直接随机切，类别样本少的类可能整个从测试集里消失。

import os import random import shutil random.seed(42) def split_corpus(src_dir, dst_dir, ratios=(0.8, 0.1, 0.1)): for category in os.listdir(src_dir): cat_path = os.path.join(src_dir, category) if not os.path.isdir(cat_path): continue files = [f for f in os.listdir(cat_path) if f.endswith('.txt')] random.shuffle(files) n_train = int(len(files) * ratios[0]) n_val = int(len(files) * ratios[1]) parts = { 'train': files[:n_train], 'val': files[n_train:n_train + n_val], 'test': files[n_train + n_val:] } for split_name, part_files in parts.items(): out_dir = os.path.join(dst_dir, split_name, category) os.makedirs(out_dir, exist_ok=True) for f in part_files: shutil.copy(os.path.join(cat_path, f), os.path.join(out_dir, f))

逻辑说明：先对每个类别的文件列表做 shuffle，再按比例切片。用 shutil.copy 而不是 move，保留原始语料做备份，后面改切分比例重跑时不至于把数据搞丢。random.seed(42)固定随机种子，保证每次切分结果一致，这是复现结果的前提。

参数说明：ratios默认 0.8 / 0.1 / 0.1，搜狗新闻单类样本量够大，这个比例没问题。如果语料总量只有几千篇，我一般会改成 0.7 / 0.15 / 0.15，避免验证集和测试集太小导致评估结果波动。文件多了之后shutil.copy会慢，可以换成os.link做硬链接，速度和磁盘占用都更友好，前提是源和目标在同一分区。

2.3 load_data.py 与 utils.py：文本清洗与分词

数据加载这一步直接决定模型看到什么。搜狗新闻原始文本带 HTML 标签、URL、数字和大量噪声，不清洗直接进模型，TF-IDF 的词表里会混进一堆<a>之类的标签 token，训练曲线会非常难看。

import os def load_data(data_dir): texts, labels = [], [] categories = sorted(os.listdir(data_dir)) label_to_id = {cat: i for i, cat in enumerate(categories)} for cat in categories: cat_dir = os.path.join(data_dir, cat) if not os.path.isdir(cat_dir): continue for fname in os.listdir(cat_dir): with open(os.path.join(cat_dir, fname), 'r', encoding='utf-8') as f: texts.append(f.read().strip()) labels.append(label_to_id[cat]) return texts, labels, label_to_id

逻辑说明：sorted(os.listdir(data_dir))保证类别顺序稳定，label 的数字 ID 和类别名一一对应，后面打印 classification_report 时需要反查。注意这里用了encoding='utf-8'，如果源文件是 GBK 编码会直接报错，这个问题在第 5 章避坑里专门讲。

清洗和分词在 utils.py 里，核心是这两个函数：

import re import jieba def clean_text(text): text = re.sub(r'<[^>]+>', '', text) # 去 HTML 标签 text = re.sub(r'[0-9a-zA-Z]+', '', text) # 去数字和英文 return text.strip() def tokenize(text, stop_words): words = jieba.lcut(clean_text(text)) return [w for w in words if w.strip() and w not in stop_words]

逻辑说明：第一行正则去 HTML 标签，搜狗新闻语料是早期的网页快照，<p>、<a>这类标签很多，不去干净词表里会大量出现无意义 token。第二行去掉数字和英文，新闻语料里数字对分类帮助不大（除非你想识别财经新闻里的涨跌数字）。tokenize先清洗再分词，最后用停用词表过滤。

参数说明：清洗正则可以根据实际数据调整，比如保留小数点和百分号用于财经类文本分类，就把[0-9a-zA-Z]+改成[a-zA-Z]+。停用词表dict/stop_words.txt我用的是公开中文停用词表加人工补充，过滤了「的、了、也、是」这类高频功能词。分词这里没有传用户词典，跑新闻语料没问题，如果换成专业领域语料（比如医疗、法律），建议给 jieba 加载领域词典，否则「心肌梗死」这类词会被切成「心肌」和「梗死」。

数据探索阶段可以用词云快速看类别区分度，img/wordcloud_example.png就是某类新闻清洗分词后的词云示例。我当时拿它和原始文本对照，很快发现「体育」类里高频词是「比赛、球员、教练」，「科技」类里是「手机、发布、芯片」，类别之间词分布差异明显，这才放心往下做模型。

3. 传统机器学习基线：TF-IDF 加线性分类器怎么调才稳

传统机器学习在上一个项目里被很多教程跳过，但它是评估深度学习效果的基准线，也是判别数据质量的试金石。如果 TF-IDF 加 SVM 都只能跑到 0.8 准确率，说明数据清洗没过关，这时候上深度学习只会更糟。

3.1 main_scikit.py 文本向量化流程

整个流程是：原始文本 → TF-IDF 向量化 → 分类器 → 评估。scikit-learn 里 Pipeline 把向量化和分类器串起来，避免在交叉验证时把测试集信息泄漏进词表。

from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.svm import LinearSVC from sklearn.pipeline import Pipeline pipeline = Pipeline([ ('tfidf', TfidfVectorizer(max_features=50000, ngram_range=(1, 2), min_df=2)), ('clf', LinearSVC(C=1.0, class_weight='balanced')) ]) pipeline.fit(train_texts, train_labels)

逻辑说明：TfidfVectorizer 默认按字符处理，中文文本它也能切，但效果不如 jieba 分词后按空格拼接的文本。所以数据加载后要先用 utils.py 分词，分词结果用空格 join 再传给 TfidfVectorizer。ngram_range=(1, 2)让特征里同时包含单词和相邻两词组合，「芯片」和「芯片 发布」这种组合特征对分类帮助很大，但代价是特征维度翻几倍。

参数说明：max_features=50000限制特征维度，搜狗新闻全量语料分词后特征可能到百万级，不截断的话 TF-IDF 矩阵稀疏度下降，LinearSVC 训练时间指数上升。min_df=2过滤只出现一次的词，这些词大概率是错别字或偶然产生的噪声。class_weight='balanced'按类别样本量反比加权，解决新闻类别数量不均衡的问题。

我一般会把max_features分别设 20000、50000、100000 对比一次，观察验证集准确率是否随特征量增长停滞。增长停滞说明模型容量够了，再加特征只是浪费内存；如果还在涨，说明特征维度不足，需要提高上限或者调整 ngram 范围。

3.2 分类器选型与超参数

搜狗新闻十来个类别，多分类场景下首选线性分类器。朴素贝叶斯训练最快但特征之间独立假设太强，RandomForest 在稀疏高维文本特征上表现一般，真正实用的是 LinearSVC 和 Logistic Regression 两个。

from sklearn.model_selection import GridSearchCV from sklearn.linear_model import LogisticRegression base = Pipeline([ ('tfidf', TfidfVectorizer(max_features=50000, ngram_range=(1, 2), min_df=2)), ('clf', LogisticRegression(max_iter=1000, class_weight='balanced')) ]) param_grid = {'clf__C': [0.1, 1, 10]} grid = GridSearchCV(base, param_grid, cv=3, scoring='f1_macro', n_jobs=-1) grid.fit(train_texts, train_labels) print(grid.best_params_)

逻辑说明：GridSearchCV 里参数名带clf__前缀是因为 Pipeline 的两级命名空间。max_iter=1000是必须的，LogisticRegression 默认 100 次迭代在稀疏高维特征上经常不收敛，直接给你报警告。scoring='f1_macro'比 accuracy 更能反映小类别的表现，新闻语料里教育、旅游类样本远少于体育、科技，只看准确率会被大类带偏。

参数说明：C 是正则化强度的倒数，C 越大正则越弱，训练集拟合得越好但容易过拟合。文本分类的 C 经验范围是 0.1 到 10，超过 100 基本就开始吃噪声了。LinearSVC 也有同样的 C 参数，而且它默认用 ovr 策略处理多分类，LogisticRegression 这里multi_class='multinomial'没有写，因为新版 scikit-learn 中 multinomial 已经是默认。两者在搜狗新闻上的准确率差距通常在 0.01 以内，LogisticRegression 能输出概率，后续做阈值调整更方便。

3.3 评估指标与可视化

评估环节最容易犯的错是只打印准确率，不看每个类的精确率和召回率。搜狗新闻类别分布天然不均衡，某个小类别全错也能拿 0.8 准确率。

from sklearn.metrics import classification_report, confusion_matrix pred = pipeline.predict(test_texts) print(classification_report(test_labels, pred, target_names=class_names)) print(confusion_matrix(test_labels, pred))

逻辑说明：classification_report 输出每个类的 precision、recall、f1-score，和样本量 support。confusion_matrix 能直观看哪些类别互相混淆——新闻语料里最常见的混淆是「娱乐」和「文化」，因为两者都涉及明星、电影、艺术相关内容。如果某个类的 recall 明显低于 precision，说明该类样本大量被分到别的类里，这时候优先看是不是训练样本太少，而不是急着换模型。

img/acc_loss_model1.png和img/acc_loss_model2.png对应两个传统模型的训练过程可视化。这类图在答辩时很有用，能证明你做过对比实验而不是只贴一个最终结果。我第一次做的时候只留了准确率数字，答辩被导师追问「你有没有看过模型的错误分布」，当时答不上来，后来所有实验都强制保存混淆矩阵和分类报告。

4. Keras 深度学习模型：从 Embedding 到 CNN 的完整实现

深度学习在文本分类上的主要优势是不用手工做 ngram 特征，Embedding 层自动学习词与词的语义关系。这套资料里 main_keras.py 用的是 Embedding 加一维卷积，结构简单但效果明显超过 TF-IDF 基线，而且训练速度快，CPU 也能跑完一个 epoch。

4.1 main_keras.py 的网络结构

CNN 做文本分类的思路和图像不同：文本经过 Embedding 后是二维矩阵，Conv1D在词向量维度上滑动，等价于提取 ngram 特征但参数更少、语义更强。

from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Embedding, Conv1D, GlobalMaxPooling1D, Dense, Dropout model = Sequential([ Embedding(input_dim=vocab_size, output_dim=128, input_length=max_len), Conv1D(filters=128, kernel_size=3, activation='relu'), GlobalMaxPooling1D(), Dense(128, activation='relu'), Dropout(0.5), Dense(num_classes, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

逻辑说明：Embedding 层把每个词映射成 128 维向量，input_dim是词表大小，input_length是每条样本固定长度。Conv1D 的kernel_size=3等效于 tri-gram 特征提取器，128 个卷积核相当于同时学 128 种不同的三词组合模式。GlobalMaxPooling1D 把每个卷积核在整个序列上的最大值取出来，保留最强信号，同时把变长序列压成固定长度向量，后面接全连接层时不用关心原始文本长度。

参数说明：vocab_size来自第 2 章构建词表时设置的max_features，比如 50000。max_len是序列填充长度，搜狗新闻平均长度在几百字左右，我一般取 300，超过截断，不足补零。Dropout(0.5)加在全连接层前防止过拟合，文本分类 CNN 参数够多，不加 dropout 的话验证集损失通常会先降后弹。sparse_categorical_crossentropy配合整数标签，不需要做 one-hot，省内存。

4.2 序列填充与词表构建

Keras 模型不能直接吃字符串，需要先把文本转成词 ID 序列。这个步骤在数据加载后必须单独处理，常见做法是用 Tokenizer 或手动构建词表。

from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences tokenizer = Tokenizer(num_words=vocab_size, oov_token='<UNK>') tokenizer.fit_on_texts(train_texts) train_seq = pad_sequences(tokenizer.texts_to_sequences(train_texts), maxlen=max_len, padding='post', truncating='post')

逻辑说明：Tokenizer 统计训练集词频，取词频最高的前vocab_size - 1个词构成词表，oov_token='<UNK>'给词表外的词一个统一 ID，避免测试集出现未知词时崩溃。padding='post'在序列末尾补零，truncating='post'从末尾截断，这样文本开头的内容保留得完整，新闻标题和导语在前面，信息密度更高。

参数说明：max_len的选择要看真实文本长度分布，不是越大越好。我在这个项目里统计过，搜狗新闻分词后长度在 500 以内的占九成，截断到 300 对效果影响不大，但训练速度能快一倍。词表大小同理，50000 词基本覆盖语料的常用表达，再大只是增加 Embedding 层参数量。

这里有个容易忽略的点：Tokenizer 必须只在训练集上 fit，如果在全部语料上 fit，词表会泄漏测试集信息，评估结果虚高。这个错误我在两个项目里都犯过，后来养成了习惯，任何词表、TF-IDF 词表、Embedding 矩阵都只在训练分割上拟合。

4.3 训练配置与收敛曲线判读

训练回调是这个项目的关键。没有 EarlyStopping 的话，CNN 到第 8 个 epoch 左右就开始过拟合，但训练集 loss 还在降，肉眼看 acc 曲线很容易误判。

from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint callbacks = [ EarlyStopping(monitor='val_accuracy', patience=3, restore_best_weights=True), ModelCheckpoint('cnn_best.h5', monitor='val_accuracy', save_best_only=True) ] history = model.fit(train_seq, train_labels, batch_size=64, epochs=20, validation_split=0.1, callbacks=callbacks)

逻辑说明：EarlyStopping 监控验证集准确率，连续 3 个 epoch 不提升就停止训练，restore_best_weights=True自动回滚到验证集最好的权重，这是过拟合的后悔药。ModelCheckpoint 只保存最好的那一版，后面即使实验调坏了也能找回最优模型。

参数说明：batch_size=64在 CPU 上训练是平衡点，太大收敛不稳定，太小每个 epoch 时间太长。epochs=20只是上限，实际上 CNN 通常在 6 到 10 个 epoch 内收敛，关键看验证集曲线。validation_split=0.1从训练集内部再切 10% 做验证，注意这里的数据是切分过的 train 集合，不会碰到测试集。

img/acc_loss_model3_cnn.png对应的就是这套结构的训练曲线。判读曲线时，如果验证集准确率上升但验证集 loss 同时上升，说明模型已经过拟合，准确率变化只是概率分布的抖动；如果训练 loss 降而验证 loss 不降，先检查学习率和 dropout，再检查数据清洗是否干净。CNN 在搜狗新闻上的准确率通常比 TF-IDF 基线高 3 到 5 个百分点，训练时间在普通笔记本 CPU 上大概十几分钟，这是性价比最高的一档方案。

5. 常见问题与避坑指南：编码、内存、复现与显存

这套资源我完整跑过两遍，第一遍踩了不少坑，大部分问题集中在环境差异和数据预处理上。下面按「现象 → 原因 → 解决」整理出来，你大概率会碰到其中至少两条。

5.1 UTF-8 与 GBK 编码混用导致 UnicodeDecodeError

现象：load_data.py 读取语料时直接抛UnicodeDecodeError，提示'utf-8' codec can't decode byte 0xd6 in position 0。

原因：搜狗新闻语料的历史版本很多是 GBK 编码，尤其是从 Windows 机器上下载解压的数据。Python 默认用 UTF-8 打开文件，遇到 GBK 字节流就当场报错。

解决：读取时做编码兜底，先试 UTF-8，失败回退 GBK，再失败用errors='ignore'跳过坏字节。这类脚本在三五行内解决，不值得为此引入 chardet 依赖。

def read_text(path): for enc in ('utf-8', 'gbk'): try: with open(path, 'r', encoding=enc) as f: return f.read() except UnicodeDecodeError: continue with open(path, 'r', encoding='utf-8', errors='ignore') as f: return f.read()

5.2 全量加载语料导致内存溢出

现象：加载几万篇新闻后程序被 OOM 杀掉，或者训练时内存持续上涨直到系统卡死。

原因：所有文本一次性读进 Python list，然后再经过分词生成新的 list，峰值内存是原始文本的几倍。TF-IDF 矩阵虽然稀疏，但几万乘几万的矩阵索引同样吃内存。

解决：限制max_features，这是最有效的手段；分词后不要把中间结果存成又一个 list，而是直接写入文件；训练时用 generator 按批次读取。这里列三个层级的缓解手段，按需选用。

5.3 类别不均衡导致小类全错

现象：classification_report 里体育、科技类的 f1 到 0.9 以上，教育、旅游类 f1 只有 0.5 左右，准确率总体却还过得去。

原因：搜狗新闻原始语料各类样本量差距大，少数类携带的信息在学习中被大量多数类样本淹没。

解决：训练时设置class_weight='balanced'，让少数类样本的 loss 权重更高；评估时以f1_macro为主要指标，不看 accuracy；如果少数类样本量实在太少，对少数类做文本改写增强，比如同义词替换、语序调整，而不是简单复制。

5.4 训练结果无法复现

现象：同一份代码跑两次，准确率相差零点几个百分点；改了一行无关代码，结果变化更大。

原因：TensorFlow、NumPy 和 Python 哈希各有各的随机源，不全部固定就无法复现。随机种子没有同时设置在数据切分、模型初始化和训练打乱三处。

解决：固定所有随机源，包括random.seed、np.random.seed、tf.random.set_seed，并设置环境变量PYTHONHASHSEED。固定后同机同版本依赖跑三次，准确率波动应该控制在 0.01 以内。

5.5 预训练模型显存不足与 CPU 推理过慢

现象：想跑 RoBERTa 中文版，结果 GPU 显存直接溢出；改用 CPU 跑一个 epoch 要几小时。

原因：中文 RoBERTa base 是 12 层 Transformer，参数量过亿，显存占用按 batch size 线性增长，batch 32 在 8GB 显存上跑不动是正常的。

解决：batch_size 降到 8 或 4，序列长度从 300 截断到 128，这是立竿见影的降显存手段；使用 hfl/rbt3 这类小型预训练模型，参数量只有标准版三分之一；最后再用梯度累积模拟大 batch 效果。

6. 预训练模型迁移与最终验证：用 RoBERTa 中文版刷高分数

传统机器学习和 CNN 都跑通之后，如果你想在这个项目上进一步提高分数，预训练模型的迁移是绕不开的。这份资料的文档里给出了预训练模型的接入思路，代码主线没有完整放出来，不过 transformers 库的接入方式现在已经非常标准，拿你已有的训练数据直接微调就行。

from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = 'hfl/rbt3' # RoBERTa-wwm-ext 中文小型版 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=num_classes) train_args = TrainingArguments( output_dir='./roberta_output', num_train_epochs=3, per_device_train_batch_size=16, per_device_eval_batch_size=32, evaluation_strategy='epoch', save_strategy='epoch', learning_rate=2e-5, load_best_model_at_end=True, ) trainer = Trainer(model=model, args=train_args, train_dataset=train_dataset, eval_dataset=val_dataset) trainer.train()

逻辑说明：微调预训练模型的思路是保留它在大规模语料上学到的语言知识，只替换末端的分类头。num_labels改成搜狗新闻的类别数，训练时冻结底层参数也可以，但全量微调在数据量足够时效果最好。learning_rate必须比训练 CNN 时低一个数量级，2e-5 到 5e-5 是常见区间，因为预训练权重已经很接近最优，学习率大了会把学到的知识冲掉。

参数说明：hfl/rbt3 是 3 层的小型 RoBERTa，在 8GB 显存下 batch 16 能稳定运行，效果只比标准版低两三个点但速度快一半。如果你的机器有 16GB 以上显存，可以直接换 hfl/chinese-roberta-wwm-ext，效果会更好。训练数据需要先通过 tokenizer 转成模型需要的 input_ids、attention_mask，这一步和 CNN 的序列填充逻辑类似，但 tokenizer 有自己的特殊 token，不能直接复用第 4 章的 Tokenizer。

三种模型在搜狗新闻上的表现可以做一个对比验收表，这也是我答辩时用的数据：

最后一步验证很重要：用测试集做最终评估，而且测试集必须三个模型共用同一份切分数据。我见过有人每个模型各切各的数据，结果对比实验完全没有说服力。我自己复现这种项目时，最后会跑一遍测试集上的混淆矩阵，把三个模型的错误样本抽出来看差异，然后再决定是否值得上预训练。从那以后我每跑一个文本分类项目都强制走一遍「清洗验证 → 基线上限 → 深度模型 → 预训练对比」这个流程，不再跳过传统基线直接上大模型——很多坑在基线上比在深度模型里更容易暴露。希望这套方法能帮你在搜狗新闻语料库上少走几个弯路。

本文还有配套的精品资源，点击获取