简介：面向自然语言处理与深度学习初学者的项目实践资源，聚焦网络舆情情感分析场景，完整实现基于Bi-LSTM与FastText的文本情感分类流程，包含从数据清洗、分词、特征提取到模型训练、评估与预测的完整工程链路。资源共18个文件，以8个Python脚本为核心，分别承担数据集处理、模型搭建、训练、测试与语义分析等任务，另含项目配置文件与文本说明，压缩包仅772KB，结构轻量便于快速上手。已有663人学习使用。通过该资源，读者可掌握Bi-LSTM双向上下文建模与FastText词向量表示的结合方式，理解从原始语料到情感标签输出的完整链路；代码注释清晰、模块划分明确，适合作为课程设计、毕业设计或NLP入门实战的参考模板，也可在此基础上扩展多分类、主题识别、舆情预警等更高阶任务。
1. 一条热搜底下，几万条评论在等着你打标签：这就是网络舆情情感分析
做网络舆情情感分析的人，日常面对的就是这种画面：某品牌上了热搜，半小时内评论区涌进来几万条评论，里面既有真实用户的抱怨，也有粉丝的维护，还有大量看不懂的黑话和玩梗。人工一条条看，看到凌晨两点也只能标完三千条，而且越到后面越麻木，标注质量直线下降。所谓舆情分析，本质上是把这堆非结构化的短文本，自动标成正面、负面、中性三类，再按时间、渠道、话题维度汇总成报表，让运营和市场的人能看懂舆论到底在往哪个方向走。这篇文章要讲的，就是用 Bi-LSTM 和 FastText 这两个模型，把一个舆情情感分析项目从数据准备一路做到模型训练、参数调整和后期的上线避坑。Model 本身并不玄乎，真正容易翻车的，是数据清洗、标签定义和样本分布这几个看不见的坑。适合正在做 AI 大作业、NLP 入门项目，或者想在公司里搭一套轻量舆情系统的朋友照着复现。
2. 舆情数据准备与标签体系：模型上限在数据清洗这一步就定了
2.1 样本从哪来：三种不依赖平台权限的采集思路
网络上能直接下载的现成数据集，常见做法是搜中文情感分析语料或者微博情感数据集，解压后通常会看到两个 CSV 文件，一个带情感标签，一个不带，直接用即可。但真实项目里，数据往往得自己攒。我一般走三条路。
第一条路是业务系统里已有的客服工单、售后评价、应用商店评论。这类数据最大的好处是标签基本天然存在——用户给了一星那肯定是负面，五星就是正面。虽然表达方式和社交媒体评论差异很大，但做初期模型完全够用。第二条路是爬公开的新闻评论区、论坛帖子、视频弹幕。只要遵守对方平台的 robots 和频控，不碰登录态、不抓个人隐私字段，一般都能拿到足够的原始文本。第三条路是纯人工标注，适合做小规模的高质量验证集。
数据到手后别急着训练，先做一步train/dev/test划分。舆情项目里我强烈建议按时间切，而不是随机切。用七月的评论做训练、八月做验证、九月做测试，这样模型上线后的表现才接近真实。随机切分会让模型误以为时间维度不存在，上线后遇到新事件、新表达方式时准确率直接掉一截。
import pandas as pd from sklearn.model_selection import train_test_split df = pd.read_csv("comments.csv") df = df.dropna(subset=["text", "label"]) df = df.drop_duplicates(subset=["text"], keep="first") # 按时间排序后顺序切分，模拟线上的时间偏移 df = df.sort_values("timestamp").reset_index(drop=True) train_end = int(len(df) * 0.8) dev_end = int(len(df) * 0.9) train_df = df.iloc[:train_end] dev_df = df.iloc[train_end:dev_end] test_df = df.iloc[dev_end:] print(train_df["label"].value_counts())这段代码里dropna和drop_duplicates必须做在前面，否则后面分词和向量化时你会被脏数据反复折磨。按时间切分的原则是固定的，但要注意分布：你还需要看三个集合里正负样本的比例是否接近，如果某个月正好赶上负面舆情爆发，那验证集可能全是负面，模型训练时 loss 会飘得很怪。
2.2 文本清洗与分词：pandas 三行代码和两个容易忽略的参数
舆情文本和标准语料不一样，脏得离谱。常见的状况包括：全角半角混用、连续重复标点、HTML 标签残留、表情符号、@ 用户、话题标签、URL 链接。这些东西对模型没有信息量，但会干扰词向量的学习，尤其对 FastText 这种对字符敏感的模型来说，不清理等于给模型喂噪声。
import re def clean_text(s: str) -> str: s = re.sub(r"https?://\S+", "", s) # 去链接 s = re.sub(r"#\S+#", "", s) # 去话题标签 s = re.sub(r"@\S+", "", s) # 去 @ 用户 s = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9]", " ", s) # 保留中文、英文、数字 s = re.sub(r"\s+", " ", s).strip() return s df["clean_text"] = df["text"].apply(clean_text)这段代码的过滤逻辑是核心点：[^\u4e00-\u9fa5a-zA-Z0-9]会把除中文、英文、数字之外的所有字符替换成空格，包括标点和表情。代价是"666"这种数字评论会被保留，而"哈哈哈哈哈"这样的语气词也在。对于情感分析来说，标点本身其实有情感含义——连续的感叹号往往意味着强烈的情绪——所以更细致的做法是保留标点，把正则改成只去链接、标签、@ 符号，标点作为一个单独的特征留给模型自己学。考虑到这里要通用，我平时第一版先用严格过滤，等模型跑通了再决定要不要把标点加回来。
分词方面，舆情场景用 jieba 是稳妥的选择，配合一个停用词表，把"的、了、和、是"这类词过滤掉。注意"不"这种否定词千万不能进停用词表，否则"我不喜欢"会变成"我 喜欢"，情感直接反转。max_len 一般设 64，舆情评论大多在几十字以内，过长文本截断掉尾部。
2.3 二分类还是三分类：舆情场景必须加"中性"类
很多入门项目只做正负二分类，但舆情系统上线后第一周就会被打脸。用户评论里有大量中性内容，比如"什么时候开售""求链接""路过"，这些既不是夸也不是骂。硬归到负面或正面都会污染统计报表。所以至少是三分类：正面 / 负面 / 中性。更进一步，我还习惯加一类"无关"，用来承接广告、闲聊、抽奖等与业务无关的文本。多出来的类会让模型训练时多学一些决策边界，但省掉了上线后大量误报。
label_map = {"正": 0, "负": 1, "中": 2, "无": 3} df["label_id"] = df["label"].map(label_map) print(df["label_id"].value_counts())标签映射的代码很简单，但背后有个经验之谈：好的标签体系是让人 30 秒内能判断、两个人标注一致率高于 90% 的体系。如果你的标注规范是"这条有点负面的倾向但也不算太负"，那模型学到的边界一定也是模糊的。
3. FastText：先跑一个能快速上线的 baseline
3.1 FastText 为什么适合舆情文本：句子向量平均加 ngram
FastText 在文本分类任务里的定位，是一个极简且极快的 baseline。它的原理可以压缩成三步：把句子里的每个词映射成词向量，然后把所有词向量平均得到一个句子向量，最后把这个句子向量送进一个线性分类器输出类别概率。原理不复杂，但它额外做了两件事，这两件事让它特别适合舆情文本。
第一件事是 subword。FastText 会把每个词拆成字符级别的 ngram，比如"垃圾"可以拆出"垃"、"圾"、"垃圾"以及带前后缀的字符组合。这意味着即使遇到词表里没有的新词、错别字、网络黑话，模型也能通过字符片段的相似性拿到一个可用的向量表示。舆情文本里新词和造词极多，"yyds""绝绝子""栓Q"这类词在训练语料里可能根本不存在，但字符 ngram 能勉强兜底。
第二件事是速度。FastText 用层次 softmax 加速训练，CPU 上几秒就能跑完一个 epoch。对比 Bi-LSTM 动不动几分钟一个 epoch，FastText 在舆情这种需要频繁重训、增量更新的场景里有天然优势。它最大的局限也明显：词序信息几乎被平均操作抹掉了，"我夸他但产品不行"和"产品不行但我夸他"在向量上非常接近。
import fasttext # label 必须以 __label__ 开头，后面跟类别名 train_df["fasttext_label"] = "__label__" + train_df["label"] train_df[["fasttext_label", "clean_text"]].to_csv( "ft_train.txt", sep=" ", index=False, header=False ) model = fasttext.train_supervised( "ft_train.txt", lr=0.5, epoch=25, wordNgrams=2, minCount=1, dim=100, loss="softmax", ) model.save_model("fasttext_model.bin")注意to_csv时的参数：sep 是空格不是逗号，header 要关掉，fasttext 的输入格式是每行一个样本，前面是__label__前缀。训练参数里，wordNgrams=2表示把相邻两个词也作为特征，这能在不引入序列模型的前提下补偿一点词序信息。loss="softmax"是给多分类用的，二分类可以换loss="hs"层次 softmax 加速。训练结束后你还可以用model.test("dev.txt")直接看验证集上的准确率和召回率。
3.2 官方库训练和结果解读：先拿到一个能用的分数
result = model.test("dev.txt") print("样本数:", result[0]) print("准确率:", result[1]) print("召回率:", result[2])model.test返回三元组：样本数、准确率、召回率。这里要提一句：fasttext 的test返回的准确率和召回率在类别不均衡时会失真。如果你的验证集里 90% 是中性样本，模型哪怕是全猜中性，准确率也有 90%。所以你要单独看每个类别的 P/R，别只看总体数字。我一般会用 sklearn 的classification_report对验证集重新算一遍，拿 macro-F1 作为调参依据。
3.3 三个值得优先调参的方向：lr、wordNgrams、minCount
FastText 可调的参数不少，但对舆情文本我只会先动三个。第一个是lr，学习率，默认 0.1 偏保守，调大到 0.5 左右收敛更快，但对学习率过大导致的过拟合要留意。第二个wordNgrams，前面已经提了，设成 1 就退化成了纯词袋模型，设成 3 会引入太多稀疏特征、训练时间变长，舆情短文本 2 通常是性价比最高的。第三个是minCount，最少出现次数，默认是 5。舆情语料里很多情感词本身就低频，比如"稀巴烂""割韭菜"这类词出现次数少但情感极强，minCount=1能把这些词保留下来，代价是词表变大、略微过拟合。如果验证集 F1 掉得厉害，可以先从minCount回到 2 试试。
4. Bi-LSTM：让模型看到上下文之后再做判断
4.1 从词袋到序列：为什么单向 LSTM 会漏掉"藏在后边的态度"
FastText 把一句话当成一个词袋，这在很多场景够用，但情感判断往往藏在语序里。舆情里特别常见的一句是"包装是真的丑，但质量意外地好"。只看"丑"这个字，模型会觉得是负面；但整句话的最终态度是正面。要让模型捕捉这种转折关系，需要的是一个能按顺序读入文本、并保留历史信息的结构。LSTM 就是这个角色：它逐个词读入句子，把读过的信息压缩进一个隐状态向量，每读一个新词时，隐状态会决定记住多少、忘掉多少、输出多少。
单向 LSTM 的问题在于，它只能看到当前词之前的内容。像"虽然贵，但值这个价"这种句式，情感关键词"值"出现在后面，如果只看前半句，隐状态里存的全是"贵"带来的负面信号。双向 LSTM 的思路就是在正向扫描之外，再加一个反向扫描，把两个方向的隐状态拼接起来。这样每个位置的输出既有前文信息也有后文信息，"贵"这个位置也能感知到后面的"值"，模型做分类时拿到的上下文就完整了。
import torch import torch.nn as nn class BiLSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes, num_layers, dropout): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.lstm = nn.LSTM( embed_dim, hidden_dim, num_layers=num_layers, batch_first=True, bidirectional=True, dropout=dropout if num_layers > 1 else 0, ) self.classifier = nn.Linear(hidden_dim * 2, num_classes) self.dropout = nn.Dropout(dropout) def forward(self, x, lengths): emb = self.embedding(x) # (batch, seq_len, embed_dim) packed = nn.utils.rnn.pack_padded_sequence( emb, lengths.cpu(), batch_first=True, enforce_sorted=False ) packed_out, (h_n, _) = self.lstm(packed) # 取最后一层的最后时刻隐状态，双向时拼接两个方向 h_n = h_n[-1] # (2, batch, hidden_dim) h_final = torch.cat((h_n[0], h_n[1]), dim=1) out = self.classifier(self.dropout(h_final)) return out代码里有几个地方是新手容易迷糊的。padding_idx=0表示序列里补零的位置不参与梯度更新，这要求你在做 batch 之前先给词汇表加上一个 id 为 0 的<pad>标记，同时序列中真实词的 id 必须从 1 开始。pack_padded_sequence是为了避免模型在 padding 位上空算，它接收每个样本的真实长度，内部只对有效部分做 LSTM 计算，能省掉大约 30% 的训练时间。h_n的形状是(num_layers * 2, batch, hidden_dim)，由于是双向，最后一层有正反两个方向的隐状态，h_n[0]和h_n[1]分别是正向和反向的最后一个时刻输出，拼接后维度是hidden_dim * 2，对应分类层的输入维度。
4.2 训练循环的骨架：loss 计算与参数更新的关键细节
import torch.optim as optim from torch.nn.utils.rnn import pad_sequence def collate_batch(batch): texts, labels, lengths = zip(*batch) padded = pad_sequence(texts, batch_first=True, padding_value=0) return padded, torch.tensor(labels), torch.tensor(lengths) model = BiLSTMClassifier(vocab_size=len(vocab), embed_dim=128, hidden_dim=128, num_classes=4, num_layers=2, dropout=0.5) optimizer = optim.Adam(model.parameters(), lr=1e-3) criterion = nn.CrossEntropyLoss() for epoch in range(10): model.train() total_loss = 0 for padded, labels, lengths in train_loader: optimizer.zero_grad() logits = model(padded, lengths) loss = criterion(logits, labels) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0) optimizer.step() total_loss += loss.item() print(f"epoch {epoch}, loss {total_loss / len(train_loader):.4f}")训练循环里值得注意的细节是clip_grad_norm_。LSTM 在长序列上很容易出现梯度范数过大、loss 剧烈震荡的问题，尤其在训练初期。梯度裁剪把梯度的范数限制在 5.0 以内，能有效防止参数一次更新过头。还有一个细节是学习率，1e-3 是 Adam 的常用起点，但如果 loss 在前两个 epoch 不降反升，优先把 lr 降到 5e-4 甚至 1e-4，而不是去加层数。
Embedding 层的初始化对 Bi-LSTM 的影响非常大。如果从头训 embedding，需要比较充足的语料；舆情项目里数据量通常不大，我更建议加载一个预训练的中文词向量来初始化 embedding 层，然后把embedding.weight设为可训练或冻结都行。冻结会训练更快，但领域词汇的向量不会更新；不冻结则要多跑几个 epoch。这个取舍要看你的 batch 大小，如果单卡显存紧张，冻结是个稳妥的选择。
4.3 两个模型的取舍：什么时候无脑 FastText，什么时候必须 Bi-LSTM
FastText 和 Bi-LSTM 不是替代关系，而是对应不同资源条件。数据量在几万条以内、业务方要求今天就要能跑的版本、服务器只有 CPU，那无脑选 FastText，它给你的 F1 通常只比 Bi-LSTM 低两三个点，但训练和推理速度快一个数量级。Bi-LSTM 的优势体现在句子结构复杂、转折和双重否定多的场景，比如财经公告、监管函件、长评论。这类文本里"不排除……的可能性"这种表达，FastText 基本一定会判错。
实际项目里的常见做法是先跑 FastText baseline，把数据处理和评估流程打通，后续再上 Bi-LSTM 对比收益。如果 Bi-LSTM 在验证集上的 F1 比 FastText 高不到一个点，我会直接弃用 Bi-LSTM，省下来的机器资源留给更多数据的增量训练。
5. 情感分析项目避坑：5 条让我改模型改到怀疑人生的记录
5.1 验证集分数好看，线上判断全是"车轱辘话"
现象：模型在 test 集上 F1 有 0.87，但一接线上真实评论，准确率掉到 0.7 不到。
原因：舆情数据有明显的时间偏移。训练集里没有"价格刺客""这波操作"这些新词，模型遇到完全没见过的高频词，只能靠词形猜测，猜错的概率自然高。
解决：一是按时间切分验证集，不用随机切分；二是每次上线前用最近一周的评论做一次增量监督训练。FastText 做增量训练很快，直接把新旧数据合并重新跑一遍就行，Bi-LSTM 则需要保存 embedding 和模型参数后继续训练几个 epoch。
5.2 "666"明明很正面，模型却判成中性
现象：验证集里一条"666"被分到中性，人工复核认为这明显是正面表达。
原因：标注规范里没有覆盖网络用语。标注人员看到"666"不认为是情感表达，标签打了中性，模型学到的自然也是中性。
解决：在标注环节加一条规则：强情感的网络用语、数字梗、谐音梗，统一按语境标注，不能因为字数少就当中性。同时把高频网络用语表加进分词词典，避免被切碎。
5.3 FastText 遇到新词就预测成中性
现象：模型对不同事件泛化很差，遇上演戏的创作者说过的一些随性的词句，预测全往中性类靠。
原因：FastText 的词向量平均策略会稀释强情感词。如果句子是"价格还行，质量一般"，"还行""一般"都是弱情感词，平均下来句子向量离中性类别的中心最近。
解决：把wordNgrams调大、minCount调小，保留更多低频强情感词。如果还不行，可以尝试给输入的词向量按情感极性做一个加权，强情感词权重调高。这个技巧在 FastText 里没有现成参数，需要改源码或换用 gensim 的版本，不是必选项。
5.4 Bi-LSTM loss 前两个 epoch 下降，后面纹丝不动
现象：训练到第 3 个 epoch，loss 停在 0.9 附近不再下降，验证集 F1 也没有变化。
原因：学习率过大导致参数在最优解附近震荡；或者 embedding 层从未经预训练的随机向量开始，需要更多的 step 才能学到有效的词表示。
解决：先把 lr 降到 5e-4，再把梯度裁剪的 max_norm 从 5.0 改到 3.0。如果 loss 还是不动，检查一下是不是 padding 顺序没排好，enforce_sorted=False时 pack 可以处理乱序，但 padding 数量不能差太多，一个 batch 里最长的样本和最短的样本长度差太大时，梯度会被无效的 padding 位置稀释。
5.5 正负样本比例 1:40，模型全体预测成中性类
现象：类别不均衡，负面样本占比只有 2%，模型为了降低整体 loss，把绝大多数样本预测成中性，F1 的 macro 值惨不忍睹。
原因：CrossEntropyLoss 默认把所有类别等权对待，多数类主导了梯度方向。
解决：给 CrossEntropyLoss 传入weight参数，权重设置为类别样本数的倒数再归一化。同时评估指标从 accuracy 改为 macro-F1，并单独看负面类别的召回率。如果重采样和 class weight 都做了还不行，就要考虑是不是负面样本本身的表达太隐晦，需要补充标注。
6. 从调通到上线：阈值、验证与增量更新的最后一公里
6.1 用验证集选分类阈值，而不是永远用 0.5
模型输出的 softmax 概率并不是可以直接用来做最终判断的。舆情场景里，中性类的"确定性"往往比正负类高很多，因为大量评论确实没有情感倾向。如果你用默认的 0.5 作为阈值，可能会把很多弱正面、弱负面评论直接归到中性，报表上看起来"舆情平稳"，实际上情绪已经酝酿到位了。
from sklearn.metrics import precision_recall_fscore_support probs = model.predict_proba(dev_texts) # 形状 (n, num_classes) for threshold in [0.3, 0.4, 0.5, 0.6, 0.7]: preds = (probs[:, 1] >= threshold).astype(int) # 只调正面类阈值 p, r, f1, _ = precision_recall_fscore_support( dev_labels, preds, average="binary", pos_label=1 ) print(f"th={threshold}, precision={p:.3f}, recall={r:.3f}, f1={f1:.3f}")这个做法的重点是不要把三个类别的阈值一起调，而是固定中性类不动，只看正类在不同阈值下的 P/R 曲线，选一个业务上可接受的平衡点。舆情预警场景通常宁可多报几个假正面，也不能漏掉真负面，那阈值就往下调。如果业务对负面精确率要求高，比如需要自动生成舆情工单，那阈值往上调，让模型只报它最有把握的样本。
6.2 冷启动阶段的人工介入和增量更新节奏
模型上线第一天，不要直接全自动跑报表。冷启动阶段我建议人机协同：模型先给所有评论打标，人工每天抽 20% 的样本复核，把复核结果回流到训练集里。等回流数据积累到一定量，做一次增量训练。这个节奏可以保持每周一次，遇到突发舆情事件时手动触发，把当天的评论立刻加入训练集重训一轮。
增量更新最需要注意的是新老数据的配比。新数据占比不宜超过 30%，否则模型会快速遗忘历史分布，在非热点时段的表现会下滑。FastText 合并训练即可，Bi-LSTM 则建议用较低的学习率续训，比如 5e-5，并且加载上一次的模型参数而不是从零开始。
6.3 舆情项目里真正决定成败的习惯
做这个方向几年下来，我最大的教训是：先修数据再调模型，数据干净程度比模型结构更影响上线效果。曾有次被分配去调一个 Bi-LSTM 模型的准确率，调了两周毫无进展，最后发现验证集里有一批标注错了的样本，改掉标签后 F1 直接涨了四个点。从那以后，每次拿到新项目，都会先花时间看数据抽样，确认标签一致率和输入内容质量，再决定要不要上复杂模型。希望这些经验能帮到你少走几段弯路，也祝你能把这一套方案真正落地到自己的舆情场景里。
本文还有配套的精品资源，点击获取
