简介：这份资源是面向高校学生与NLP入门者的中文情感分析实战项目，基于WeiboSenti100k数据集对bert-base-chinese进行微调，可用于毕业设计、课程设计或软件工程实践，帮助读者掌握预训练模型在文本分类任务中的完整落地流程。压缩包共5个文件，包含2个Python脚本分别负责训练与推理，1个CSV数据集文件、1个依赖清单和1份项目说明文档，整体约9.73MB，结构精简，便于快速跑通。项目覆盖数据清洗与分词、加载预训练模型并构建分类层、定义损失函数与优化器、在验证集上评估准确率与F1值，以及对新微博文本进行情感极性预测等环节，读者可据此理解微调机制、超参数调整与工程组织方式。目前已有196人学习下载，适合希望把深度学习理论转化为可运行代码、积累NLP项目经验的学习者参考。
1. 从一份微博情感分析源码说起：bert-base-chinese 微调到底能跑出什么
如果你手头正好有一份 WeiboSenti100k 数据集加 bert-base-chinese 微调的源码包，大概率会先冒出三个问题：这份代码能不能直接跑通、微调出来的模型准不准、以及它跟现在满屏的 LoRA 微调、adapter 微调到底差在哪。我拿到这个压缩包的第一反应也是先看目录结构——train.py、inference.py、requirements.txt、README.md，外加一个weibo_senti_100k.csv，典型的课程设计和毕业设计交付形态，麻雀虽小但五脏俱全。它解决的核心问题很明确：用一份十万量级的中文微博二分类情感语料，把预训练好的中文 BERT 在下游分类任务上做全参数微调，最终得到一个能判断一句话是正面还是负面的模型。适合谁？正在做 NLP 方向课程设计、毕业设计的学生，以及想跑通一遍「预训练模型微调」完整链路但不想从零搭数据管道的工程师。它不追求 SOTA，追求的是链路完整、可复现、能讲清楚每一步在干什么。
2. 数据管道与标签分布：weibo_senti_100k.csv 怎么读才不翻车
2.1 先搞清楚这份 CSV 的真实结构
WeiboSenti100k 这个数据集在圈子里流传的版本不止一个，字段名和分隔符都有差异。常见的有两列label,review，也有带id的三列版本，分隔符有的是逗号，有的是制表符。直接pd.read_csv一把梭，遇到文本里本身带逗号的情况就会列错位。我一般会先做一次结构探测，而不是上来就写 Dataset 类。
import pandas as pd # 先只读前 5 行，不指定列名，看看真实分隔情况 raw = pd.read_csv("weibo_senti_100k.csv", nrows=5, header=None) print(raw.shape) print(raw.head()) # 再读全量，显式指定列名和编码，避免中文乱码 df = pd.read_csv( "weibo_senti_100k.csv", encoding="utf-8", names=["label", "text"] if raw.shape[1] == 2 else ["id", "label", "text"], header=0 ) print(df["label"].value_counts()) print(df["text"].str.len().describe())这段代码的逻辑是先用nrows=5和header=None探测真实列数，再决定列名映射。参数上，encoding优先试utf-8，如果报UnicodeDecodeError就换gb18030，这是中文 CSV 最常见的两个编码。value_counts()用来确认标签是不是 0/1 二分类，str.len().describe()看文本长度分布，这一步很关键——BERT 的max_length设多少，直接由这个分布决定，拍脑袋设 128 很可能截掉大量有效信息。
2.2 标签映射与文本清洗的边界
这份数据集通常是二分类，label 为 0 和 1，对应负面和正面。但有些衍生版本会混入中性样本或把标签写成 -1/1。训练前必须把标签统一成 0/1 连续整数，否则CrossEntropyLoss会直接报 index 越界。文本清洗这块，微博文本的典型噪声是 @用户、话题标签 #、URL 和表情符号。我的做法是保留表情的中文描述（如果数据集已经转好），只去掉 URL 和 @提及，因为过度清洗会把情感信号一起洗掉。
import re def clean_text(s): s = re.sub(r"http\S+|www\.\S+", "", s) # 去 URL s = re.sub(r"@[\w\u4e00-\u9fa5]+", "", s) # 去 @提及 s = re.sub(r"#(.+?)#", r"\1", s) # 话题标签保留内容去井号 s = re.sub(r"\s+", " ", s).strip() # 合并空白 return s df["text"] = df["text"].astype(str).map(clean_text) df = df[df["text"].str.len() > 1] # 丢掉清洗后为空的样本 df["label"] = df["label"].astype(int)这里每个正则都有明确目的：URL 和 @提及是纯噪声，话题标签的井号去掉但保留里面的词，因为话题词往往带情感倾向。最后过滤掉长度小于等于 1 的样本，避免空文本进 tokenizer 后只剩特殊标记。注意astype(str)要放在清洗前，防止 NaN 让正则报错。
2.3 划分训练验证集时的分层采样
直接train_test_split不设stratify是新手常踩的坑，尤其当正负样本比例不是严格 1:1 时，验证集可能严重偏斜，导致评估指标虚高或虚低。正确做法是按 label 分层。
from sklearn.model_selection import train_test_split train_df, val_df = train_test_split( df, test_size=0.1, random_state=42, stratify=df["label"] ) print(train_df["label"].mean(), val_df["label"].mean())stratify=df["label"]保证训练集和验证集的标签比例一致，random_state固定后结果可复现，这在毕业设计答辩时很重要——评委让你重跑一遍，你得能跑出同样的数。
3. bert-base-chinese 微调：train.py 里的关键参数怎么定
3.1 模型加载与分类头改造
bert-base-chinese是 12 层、768 隐藏维度、12 个注意力头的标准 BERT-base 结构，词表约 2.1 万。用 transformers 加载时，AutoModelForSequenceClassification会自动在 [CLS] 向量上接一个全连接分类头，num_labels=2对应二分类。这里有个容易忽略的点：bert-base-chinese的输出是 768 维，分类头是768 -> 2的线性层，参数量很小，真正被微调的是整个 BERT 编码器的约 1.02 亿参数。这也是为什么全参数微调显存吃紧，而 LoRA 微调只需要训练极少量低秩矩阵就能接近全量微调效果。
import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification MODEL_NAME = "bert-base-chinese" tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME) model = AutoModelForSequenceClassification.from_pretrained( MODEL_NAME, num_labels=2 ) device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device)num_labels=2必须和标签种类数一致，改成 3 就是三分类。device判断这块，如果没有 GPU，CPU 上跑 10 万条数据全参数微调基本不现实，一个 epoch 可能要几个小时，这是硬件门槛，不是代码问题。
3.2 数据集封装与动态 padding
把 DataFrame 转成 torch Dataset 时，核心是 tokenizer 的调用方式。固定max_length=128加padding="max_length"会浪费大量计算在 padding token 上，更优的做法是padding="max_length"配合truncation=True，或者用 DataCollator 做动态 padding。我一般先用长度分布决定一个上限，比如覆盖 95% 样本的长度。
from torch.utils.data import Dataset class WeiboDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len=128): self.texts = texts self.labels = labels self.tokenizer = tokenizer self.max_len = max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): enc = self.tokenizer( self.texts[idx], max_length=self.max_len, padding="max_length", truncation=True, return_tensors="pt" ) return { "input_ids": enc["input_ids"].squeeze(0), "attention_mask": enc["attention_mask"].squeeze(0), "labels": torch.tensor(self.labels[idx], dtype=torch.long) }truncation=True保证超长文本被截断而不是报错，return_tensors="pt"直接返回 PyTorch 张量，squeeze(0)去掉 batch 维度。max_len设 128 是中文短文本的常见选择，微博文本大多在 100 字以内，128 个 token 基本够用。如果你的长度分布 P95 超过 128，就调到 160 或 192，但注意显存占用会随之上升。
3.3 训练循环与超参数设置
train.py里最值得盯的是学习率、batch size 和 epoch 数。BERT 微调的经典学习率是 2e-5 到 5e-5，太大容易灾难性遗忘，太小收敛慢。batch size 在显存允许下尽量大，16 或 32 是常见值。epoch 数一般 3 到 5，再多容易过拟合，尤其数据量只有 10 万条时。
from transformers import AdamW, get_linear_schedule_with_warmup from torch.utils.data import DataLoader BATCH_SIZE = 32 EPOCHS = 3 LR = 2e-5 train_loader = DataLoader( WeiboDataset(train_df["text"].tolist(), train_df["label"].tolist(), tokenizer), batch_size=BATCH_SIZE, shuffle=True ) optimizer = AdamW(model.parameters(), lr=LR, weight_decay=0.01) total_steps = len(train_loader) * EPOCHS scheduler = get_linear_schedule_with_warmup( optimizer, num_warmup_steps=int(0.1 * total_steps), num_training_steps=total_steps ) model.train() for epoch in range(EPOCHS): for batch in train_loader: batch = {k: v.to(device) for k, v in batch.items()} outputs = model(**batch) loss = outputs.loss loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step() optimizer.zero_grad() print(f"epoch {epoch} done")AdamW的weight_decay=0.01是 BERT 微调的标准配置，get_linear_schedule_with_warmup让学习率在前 10% 步数线性升温再线性衰减，这个策略对 Transformer 类模型很关键，能避免训练初期梯度震荡。clip_grad_norm_设 1.0 是防止梯度爆炸的保险丝，中文短文本任务里梯度爆炸不常见，但加上不亏。注意optimizer.zero_grad()放在step()之后，顺序反了会导致梯度累积错误。
3.4 验证集评估与指标选择
二分类情感分析不能只看准确率，尤其当正负样本不均衡时。精确率、召回率和 F1 都要看，classification_report一行搞定。
from sklearn.metrics import classification_report, accuracy_score model.eval() preds, trues = [], [] with torch.no_grad(): for batch in DataLoader( WeiboDataset(val_df["text"].tolist(), val_df["label"].tolist(), tokenizer), batch_size=64 ): batch = {k: v.to(device) for k, v in batch.items()} logits = model(**batch).logits preds.extend(torch.argmax(logits, dim=-1).cpu().numpy()) trues.extend(batch["labels"].cpu().numpy()) print(accuracy_score(trues, preds)) print(classification_report(trues, preds, digits=4))torch.no_grad()关闭梯度计算，省显存也加速。argmax取 logits 最大值对应的类别。classification_report会输出每个类别的 precision、recall、f1-score，重点看 macro avg 和 weighted avg 的差异，差异大说明类别不均衡影响了整体表现。
4. 推理与部署：inference.py 怎么把模型用起来
4.1 单条文本预测的完整流程
inference.py的核心是把训练好的权重加载回来，对任意中文文本输出情感极性。这里最容易翻车的地方是 tokenizer 必须和训练时完全一致，包括max_length和 padding 策略。换一个 tokenizer 或者改了max_length，预测结果可能完全不对。
import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification MODEL_DIR = "./saved_model" tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR) model = AutoModelForSequenceClassification.from_pretrained(MODEL_DIR) model.eval() model.to("cuda" if torch.cuda.is_available() else "cpu") def predict(text): enc = tokenizer( text, max_length=128, padding="max_length", truncation=True, return_tensors="pt" ) enc = {k: v.to(model.device) for k, v in enc.items()} with torch.no_grad(): logits = model(**enc).logits prob = torch.softmax(logits, dim=-1) pred = torch.argmax(prob, dim=-1).item() return {"label": pred, "confidence": prob[0][pred].item()} print(predict("这家店的服务态度真的太好了，下次还来")) print(predict("快递太慢了，等了一个星期才到"))softmax把 logits 转成概率，confidence给出模型对当前预测的置信度。实际用的时候，置信度低于 0.6 的样本建议人工复核，尤其是做舆情监控场景，误判成本高。
4.2 批量推理与显存控制
生产环境不会一条一条预测，批量推理能显著提升吞吐。但 batch size 设太大容易 OOM，需要根据显存动态调整。
def batch_predict(texts, batch_size=64): results = [] for i in range(0, len(texts), batch_size): batch_texts = texts[i:i + batch_size] enc = tokenizer( batch_texts, max_length=128, padding=True, truncation=True, return_tensors="pt" ) enc = {k: v.to(model.device) for k, v in enc.items()} with torch.no_grad(): logits = model(**enc).logits probs = torch.softmax(logits, dim=-1) preds = torch.argmax(probs, dim=-1).cpu().numpy() results.extend(preds.tolist()) return results批量推理时padding=True会按 batch 内最长序列动态补齐，比max_length固定补齐省显存。batch_size从 64 起步，OOM 就减半，直到能跑通。这个函数返回的是标签列表，如果需要置信度，把probs也收集起来即可。
4.3 模型保存与加载的目录结构
训练完保存模型时，save_pretrained会生成config.json、pytorch_model.bin和 tokenizer 相关文件。加载时指向这个目录就行，不要只保存state_dict然后手动重建模型结构，那样容易因为配置不一致导致加载失败。
# 训练结束后保存 model.save_pretrained("./saved_model") tokenizer.save_pretrained("./saved_model") # 推理时加载 model = AutoModelForSequenceClassification.from_pretrained("./saved_model") tokenizer = AutoTokenizer.from_pretrained("./saved_model")save_pretrained保存的是完整配置加权重，from_pretrained自动读取配置重建模型，这是 transformers 的标准做法，比手动torch.save省心得多。
5. 避坑与排查：这份源码跑不通时先看这几条
5.1 现象：训练 loss 不下降，准确率卡在 0.5 左右
原因通常是标签没对齐或者学习率过大。先检查df["label"].unique()是不是只有 0 和 1，如果出现 -1 或 2，CrossEntropyLoss虽然不报错但学不到东西。学习率方面，2e-5 是安全值，如果你手改成 1e-3，loss 会震荡甚至发散。解决方法是把学习率调回 2e-5 到 5e-5 区间，并确认标签映射正确。
5.2 现象：CUDA out of memory
原因无非三个：batch size 太大、max_length太长、或者没有用torch.no_grad()做验证。解决顺序是先降 batch size 到 16 甚至 8，再把max_length从 128 降到 96，验证阶段务必包在torch.no_grad()里。如果还 OOM，考虑用梯度累积模拟大 batch，或者上混合精度训练。
5.3 现象：推理结果和训练时验证集表现差距大
原因通常是推理时的 tokenizer 配置和训练时不一致，比如训练用了max_length=128，推理用了 64，长文本被截断后语义丢失。解决方法是把 tokenizer 的配置和训练脚本对齐，最好直接加载保存下来的 tokenizer 目录，而不是重新从bert-base-chinese加载。
5.4 现象：中文乱码或 tokenizer 报错
原因多半是 CSV 编码问题。pd.read_csv默认 utf-8，但有些 Windows 环境下生成的 CSV 是 gb18030。解决方法是显式指定encoding="gb18030"试一次，如果还不行就用chardet探测编码。tokenizer 报错则可能是文本里有 None 或 NaN，清洗前先astype(str)。
5.5 现象：训练完保存的模型加载时报配置缺失
原因是只保存了state_dict而没有保存config.json。解决方法是统一用save_pretrained和from_pretrained，不要混用torch.save和from_pretrained。如果已经只存了 state_dict，需要手动构造BertConfig再加载权重，麻烦且容易出错。
6. 进阶技巧：用 LoRA 微调把显存门槛打下来
全参数微调bert-base-chinese在 10 万条数据上，单卡 8GB 显存基本是极限，batch size 只能开到 8 左右。如果你手头只有消费级显卡，或者想同时跑多组超参数实验，LoRA 微调是更实际的选择。它的思路是在 BERT 的注意力层里注入低秩矩阵，只训练这些新增的小矩阵，原始 BERT 权重冻结。这样可训练参数量从 1 亿降到几十万，显存占用大幅下降，训练速度也快很多。
from peft import LoraConfig, get_peft_model, TaskType lora_config = LoraConfig( task_type=TaskType.SEQ_CLS, r=8, lora_alpha=32, lora_dropout=0.1, target_modules=["query", "value"] ) model = AutoModelForSequenceClassification.from_pretrained( "bert-base-chinese", num_labels=2 ) model = get_peft_model(model, lora_config) model.print_trainable_parameters()r=8是低秩矩阵的秩，越大可训练参数越多，8 或 16 是常见值。lora_alpha=32控制缩放，一般设为r的 2 到 4 倍。target_modules指定注入位置，BERT 里通常是query和value两个投影矩阵。print_trainable_parameters()会打印可训练参数占比，你会看到只有不到 1% 的参数需要更新。训练循环和全参数微调完全一样，只是优化器只更新 LoRA 参数。推理时可以用model.merge_and_unload()把 LoRA 权重合并回原模型，得到一个和全参数微调结构一致的模型，方便部署。
我自己的习惯是：先用全参数微调跑一个 baseline，确认数据和链路没问题，再切 LoRA 做超参数搜索。这样既保证了效果上限，又控制了实验成本。从那以后我每次拿到新的文本分类任务，都会先跑一遍全参数微调确认数据管道无误，再决定要不要上 LoRA 省显存。希望帮到你。
本文还有配套的精品资源，点击获取
