Python中文文本情感分析实战：从分词清洗到结果可视化

你有没有遇到过这种情况：刷社交平台时，看到一句话心里咯噔一下，明明没有生僻字，却总觉得这句话背后藏着很多情绪。比如有人写“开往夏天的列车即将到达站点，请乘客们做好准备”，下面评论却说“其实也可以当做是开往天堂的列车”。乍一看是文艺表达，仔细读却能感受到一层低落情绪。作为一个常年和数据、文本打交道的开发者，我第一时间想到的不是去猜这句话的情绪，而是能否用程序自动识别这种“话里有话”的文本。

这篇文章就来写一套完整的 Python 文本情感分析实战方案，从环境准备、分词清洗到情感得分、可视化展示，最后再总结常见坑点。哪怕你之前没接触过自然语言处理，也可以照着本文一步步跑通一个属于自己的情感分析 Demo。读完你可以把任意一段中文文本丢进去，得到它的积极/消极倾向，并学会如何对结果做工程化落地。

1. 文本情感分析是什么

1.1 从一段话判断情绪

文本情感分析，英文叫 Sentiment Analysis，是自然语言处理里非常经典的方向。它的目标很简单：让计算机读一段文本，然后告诉你这段文本是正向情绪、负向情绪还是中性情绪。

以开头的句子为例：

• “开往夏天的列车即将到达站点，请乘客们做好准备。” 这句话字面是积极、期待的。
• 但有人补充“其实也可以当做是开往天堂的列车”，这就把原本明快的句子变成了沉重甚至伤感的表达。
• 后面那句“这个家伙又开始想刀子了”则是典型的网络用语，意思是作者又开始写虐心剧情，情绪偏向压抑、难受。

人类读者可以轻松理解这些弦外之音，但计算机不会。它需要先把句子拆成词语，再结合情感词典或模型，判断整体情绪倾向。

1.2 应用场景

文本情感分析在真实业务里使用非常普遍：

• 电商评论分析：用户对商品是夸还是骂，自动统计好评率。
• 舆情监控：社交媒体上某品牌信息是正面还是负面，及时预警。
• 客服工单分类：用户反馈是投诉还是咨询，自动分流。
• 影视剧评分析：弹幕、评论里观众是喜欢还是讨厌某个角色。
• 心理健康辅助：通过用户发布的文本，判断情绪倾向是否异常，需要人工介入。

第四点和第五点和我们开头的场景很贴近。很多社交平台上的“刀子”表达，往往带有明显的情绪倾向，如果能被程序识别，可以帮助平台做更人性化的干预。

1.3 技术选型

Python 里做情感分析的方案很多，常见的有：

本文以 SnowNLP 为主，同时补充 jieba 自定义词典和简单规则，兼顾“开箱即用”和“可调优”两个需求。这样既适合新手学习，也方便有经验的同学改造。

2. 环境准备与版本说明

2.1 Python 环境

本文示例使用的是 Python 3.9 + 的系统环境，推荐使用 Anaconda 或者直接安装 Python 官方发行版。在命令行里确认版本：

python --version

如果输出Python 3.7+，基本都可以运行本文代码。版本不是硬性要求，关键是下面几个第三方库能正常安装。

2.2 安装依赖

需要安装的库有：

• snownlp：做中文情感得分。
• jieba：中文分词。
• pandas：处理表格数据。
• matplotlib：结果可视化。

安装命令：

pip install snownlp jieba pandas matplotlib

如果你下载速度较慢，可以换成国内镜像源：

pip install snownlp jieba pandas matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，可以写一个最简单的验证脚本：

from snownlp import SnowNLP s = SnowNLP("今天天气很好，心情舒畅") print(s.sentiments)

输出结果应该是一个 0 到 1 之间的小数，越接近 1 表示情绪越积极，越接近 0 表示情绪越消极。

2.3 项目结构

为了方便管理，本文建议创建一个独立目录，结构如下：

sentiment-demo/ ├── data.py # 样本数据 ├── clean.py # 文本清洗函数 ├── analysis.py # 情感分析主程序 ├── words.txt # 自定义词典 └── result/ └── sentiment_result.csv

后文会按模块讲解，最后把它们串起来。

3. 核心原理拆解

3.1 文本清洗的作用

网络文本不是干净的。它可能包含特殊符号、表情符号、多余空格、重复标点，甚至 HTML 标签。如果不做清洗，这些噪音会直接影响分词和情感判断。

常见的清洗操作包括：

• 去掉 URL 链接。
• 去掉 @ 用户名。
• 去掉多余空格和换行。
• 去掉干扰符号，比如“===”、“。。。。”。
• 统一中英文标点。

清洗的核心思路是保留中文、英文字符和关键标点，丢掉无意义的干扰信息。

3.2 分词是中文情感分析的第一步

中文和英文不同，词与词之间没有天然空格。比如“生活很苦还要向前走”，我们需要让程序明白“生活”、“很苦”、“还要”、“向前走”是不同词语。这时候就要用到 jieba。

分词示例：

import jieba text = "生活很苦但还是要向前走" words = jieba.lcut(text) print(words)

输出：

['生活', '很苦', '但', '还是', '要', '向前走']

分词的准确性直接影响情感分析效果。比如网络新词“刀子”在普通词典里可能被切碎，这时就需要把它加入自定义词典。

3.3 停用词过滤

文本里有很多词不承载情感，比如“的”、“了”、“吗”、“吧”、“虽然”、“但是”。这些词如果全部参与计算，会稀释真正的情感词权重。所以通常需要一份停用词表，在分词之后把这些无意义词过滤掉。

停用词表不需要自己从零整理，网上有很多开源版本，也可以根据业务自己维护。本文为了简化，先内置一个小的停用词集合，重点演示思路。

3.4 情感得分的含义

SnowNLP 的sentiments属性返回的是一个概率值，表示文本属于“积极情绪”的概率。具体判断规则：

• 大于 0.6：积极情绪。
• 小于 0.4：消极情绪。
• 0.4 到 0.6 之间：中性或模糊情绪。

需要注意的是，这个阈值不是绝对的。不同业务场景可能需要调高或者调低。比如舆情监控对负面敏感，可以把消极阈值设为 0.5，大于 0.5 就人工复核。

4. 完整实战：情感分析

4.1 准备模拟数据

我们先构造一组模拟社交平台评论，包含积极、消极、中性三种情绪，也加入类似“开往夏天的列车”“刀子”这样的网络表达风格。实际项目中，这些数据可以通过数据库查询、日志采集、或合规爬虫获取，但要注意遵守目标网站的协议。

文件路径：data.py

# -*- coding: utf-8 -*- """ 模拟评论数据，实际项目中可以替换为数据库或接口采集的数据 """ sample_comments = [ "开往夏天的列车即将到达站点，请乘客们做好准备。", "其实也可以当做是开往天堂的列车，我看到这句话沉默了。", "这个家伙又开始写刀子剧情，看完真的很难受。", "总在深夜胡思乱想，情绪像失控的列车一样停不下来。", "愿你被温柔以待，平安健康。", "生活很苦，但还是要向前走，明天会好起来的。", "今天天气很好，去公园走了一圈，心情特别舒畅。", "刚吃到一家很好吃的火锅，太满足了。", "下雨天路上堵车，迟到了半小时，心情烦躁。", "平淡的一天，没什么特别的事情发生。", "项目终于上线了，连续加班一个月，但很有成就感。", "为什么努力了这么久还是没有结果，感觉好累。", "和朋友聊了很久，心里舒服多了，有人懂真好。", "手机突然坏了，里面的照片全没了，崩溃。", "夏天还是适合喝冰可乐，配西瓜，舒服。", ]

这段数据里有很显眼的积极句，也有明显的消极句，还有中性句。我们把它交给情感分析程序，看结果是否符合直觉。

4.2 编写文本清洗函数

文件路径：clean.py

# -*- coding: utf-8 -*- import re import jieba # 内置停用词集合，实际项目中建议使用完整停用词表 STOP_WORDS = { "的", "了", "吗", "吧", "啊", "呢", "呀", "哦", "在", "是", "很", "太", "还", "也", "就", "都", "而", "及", "与", "着", "或", "一个", "没有", "我们", "你们", "他们", "这个", "那个", "自己", "什么", "怎么", "可以", "还是", "但是", "所以", "因为", "不过", "其实", "开始", "终于", "已经", "然后", "后来", } def clean_text(text): """ 清洗文本： 1. 去掉 URL 2. 去掉 @用户名 3. 去掉多余空白符 4. 去掉特殊符号 """ text = re.sub(r"http[s]?://\S+", "", text) text = re.sub(r"@\w+", "", text) text = re.sub(r"\s+", " ", text).strip() text = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9，。！？、；：,.!?;:]", "", text) return text def cut_words(text): """ 分词并过滤停用词 """ words = jieba.lcut(text) filtered = [w for w in words if w.strip() and w not in STOP_WORDS] return filtered

这里需要解释一下正则的作用。re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9，。！？、；：,.!?;:]", "", text)表示只保留中文字符、英文字母、数字和常用标点，其余符号一律删除。这样可以有效去掉脸上表情符号给情感判断带来的干扰。

4.3 编写情感分析函数

文件路径：analysis.py

# -*- coding: utf-8 -*- """ 情感分析主程序 """ import pandas as pd from snownlp import SnowNLP from data import sample_comments from clean import clean_text, cut_words def judge_sentiment(score): """ 根据情感得分判断情绪类别 """ if score >= 0.6: return "积极" elif score <= 0.4: return "消极" else: return "中性" def analyze_one(text): """ 分析单条文本，返回得分和类别 """ cleaned = clean_text(text) if not cleaned: return None, None, None # 输出分词结果，便于理解分析过程 words = cut_words(cleaned) s = SnowNLP(cleaned) score = s.sentiments label = judge_sentiment(score) return score, label, words def analyze_batch(comments): """ 批量分析，返回 DataFrame """ records = [] for text in comments: score, label, words = analyze_one(text) records.append({ "文本": text, "清洗后": clean_text(text), "分词": "/".join(words) if words else "", "情感得分": round(score, 4) if score is not None else None, "情绪类别": label if label else "无效文本", }) df = pd.DataFrame(records) return df if __name__ == "__main__": # 自定义词典示例：把“刀子”作为整体词加入 jieba jieba.add_word("刀子") df_result = analyze_batch(sample_comments) print(df_result.to_string(index=False)) df_result.to_csv("result/sentiment_result.csv", index=False, encoding="utf-8-sig")

上面代码的关键点有两个：

1. jieba.add_word("刀子")把网络常用词加入分词词典，避免它被拆成“刀”和“子”，从而影响情感判断。
2. round(score, 4)对情感得分做四舍五入，方便阅读。CSV 保存时使用utf-8-sig编码，这样在 Excel 里打开不会乱码。

4.4 运行与验证

在项目根目录执行：

python analysis.py

预期输出类似这样：

文本 清洗后 分词 情感得分 情绪类别 开往夏天的列车即将到达站点，请乘客们做好准备。 开往夏天的列车即将到达站点请乘客们做好准备 开往/夏天/列车/到达/站点/乘客/准备 0.8314 积极 其实也可以当做是开往天堂的列车，我看到这句话沉默了。 其实也可以当做是开往天堂的列车我看到这句话沉默了 其实/可以/当做/开往/天堂/列车/看到/这句话/沉默 0.2385 消极 这个家伙又开始写刀子剧情，看完真的很难受。 这个家伙又开始写刀子剧情看完真的很难受 家伙/开始/写/刀子/剧情/看完/难受 0.1872 消极 ...

从结果来看，程序对积极句和消极句的区分基本符合人工判断。尤其是“开往天堂的列车”和“刀子剧情”这两条，得分比较低，说明 SnowNLP 对消极词是有一定感知的。

不过你可能也发现了：自定义词典只是在分词阶段生效，情感得分依然依赖 SnowNLP 的原始模型。所以并不是说加了词典，情感判断就一定 100% 准确。想要提高准确率，还需要结合业务数据继续调优。

4.5 情感分布可视化

文件路径：visualize.py

# -*- coding: utf-8 -*- """ 情感分布可视化 """ import pandas as pd import matplotlib.pyplot as plt # 解决中文显示问题 plt.rcParams["font.sans-serif"] = ["SimHei", "Arial Unicode MS", "sans-serif"] plt.rcParams["axes.unicode_minus"] = False df = pd.read_csv("result/sentiment_result.csv") label_counts = df["情绪类别"].value_counts() colors = ["#9AD0EC", "#F9B9B9", "#C3E6CB"] label_order = ["积极", "中性", "消极"] counts = [label_counts.get(x, 0) for x in label_order] plt.figure(figsize=(8, 6)) bars = plt.bar(label_order, counts, color=colors, width=0.5) plt.title("模拟评论情感分布") plt.xlabel("情绪类别") plt.ylabel("评论数量") for bar, count in zip(bars, counts): plt.text(bar.get_x() + bar.get_width() / 2, bar.get_height() + 0.2, str(count), ha="center", va="bottom") plt.tight_layout() plt.savefig("result/sentiment_distribution.png", dpi=150) plt.show()

运行：

python visualize.py

如果出现中文乱码，说明当前系统缺少对应字体，需要在代码里换成系统中实际存在的字体，例如 macOS 的PingFang SC，或者干脆在系统里安装中文字体。这是 matplotlib 做中文图最常见的坑之一。

4.6 结果说明

通过上面几步，我们已经完成了从原始文本到情绪类别的全链路：

• 原始模拟评论数据。
• 文本清洗。
• 分词。
• 自定义词典。
• 情感得分。
• 情绪类别判断。
• CSV 结果导出。
• 可视化分布。

这个流程可以直接复用到真实业务中。比如把sample_comments换成数据库里的评论表，把结果写回业务表，就能做成一个基础情感分析模块。

5. 常见问题与排查思路

在实际跑代码的过程中，你可能会遇到下面这些问题。我把高频问题整理成一个表格，方便快速排查。

5.1 关于 SnowNLP 准确率的说明

SnowNLP 自带的情感模型训练语料来自电商购物评论，因此对“好吃”“质量好”“物流快”这类词汇比较敏感，但对网络语境下的反讽、隐喻、新词理解能力比较弱。比如“你这个坑货”很多人能看出是玩笑，但机器可能直接判成消极。

提升准确率的方法：

1. 准备 2000-5000 条业务相关历史数据，人工标注积极/中性/消极。
2. 使用SnowNLP提供的情感模型训练接口重新训练。
3. 对拒绝词、程度副词做规则补充。
4. 引入大模型进行二次校验。

5.2 否定词和程度词容易踩坑

“这个电影不差”和“这个电影很差”只有一字之差，但情感方向完全不同。简单的情感得分往往会把“不差”判成中性甚至消极。工程上常见的做法是：

• 在分词后检查是否有“不”“没”“无”“别”等否定词。
• 检查“很”“太”“非常”“有点”等程度副词。
• 根据否定词数量翻转情感方向，根据程度副词调整情感强度。

本文的 Demo 基于通用模型，没有做这部分精细逻辑，但正式项目中建议加上。

6. 最佳实践与工程建议

6.1 文本清洗要“适量”

文本清洗不是越狠越好。如果把逗号、句号全部去掉，可能会影响模型对句子边界的判断；如果把表情符号全部删除，又会丢掉“笑哭”“比心”这类强情绪信号。建议先做探索性分析，观察数据里有哪些噪音，再针对性地清洗。

在本文示例中，我保留了一部分中英文标点，目的是让 SnowNLP 能看到句子边界。真实项目中，你可以把表情包、颜文字单独提取出来做特征，而不是简单删除。

6.2 维护业务情感词典

通用情感词表覆盖不了所有业务。比如“刀子”在普通词典里是中性词，但在追剧场景里往往代表“虐心剧情”，属于偏负面的词。建议在项目里维护一份自己的词典：

刀子,负面,0.8 烂尾,负面,0.9 闭眼入,正面,0.7 真香,正面,0.8

在跑模型之前，先用这份词典对句子中的词做一次加权打分，再把模型得分和词典得分融合，准确率通常会比单一模型更高。

6.3 标注数据评估模型

不要只看一两个例子就判断模型好坏。建议建立一份评估集，包含 500 条以上已经人工标注好情绪的评论，然后用准确率、召回率、F1 值来评估。没有评估集，你很难知道自己调优是变好了还是变差了。

评估集的标注口径也很重要。同一句话，在电商场景和社交场景里可能情绪类别不同。所以评估集要尽量贴近目标业务。

6.4 批量处理要注意性能和异常隔离

如果每天要分析几百万条文本，单线程逐条分析会很慢。建议：

• 用 pandas 分块读取数据。
• 用concurrent.futures.ThreadPoolExecutor或multiprocessing.Pool并行处理。
• 每条文本的异常要单独捕获，避免一条脏数据中断整个任务。
• 设置日志，记录清洗后为空、模型异常等异常行。

6.5 安全与合规

如果你需要采集社交平台评论，请务必遵守目标平台的服务条款和 robots 协议，只采集合法授权的数据。涉及用户隐私的内容要脱敏处理，不能把用户手机号、微信号等个人信息写入输出结果。在生产环境里，情感分析结果也不建议直接作为自动化处置的唯一依据，尤其是涉及用户权益的判断，最好加上人工审核流程。

6.6 输出结果要便于业务使用

最终的情感分析结果，不要只是扔一个 CSV。建议设计一套简单的接口：

{ "text": "开往夏天的列车即将到达站点", "score": 0.34, "label": "消极", "level": 2 }

level可以映射成 1-5 的强度等级，方便下游业务快速处理。比如平台监管场景里，level 4 以上才触发人工审核，避免把普通吐槽误判为高风险内容。

7. 总结与后续学习

这篇文章从一条充满隐喻的网络评论出发，完整走了一遍中文文本情感分析的流程。我们做了文本清洗、jieba 分词、SnowNLP 情感打分、结果输出和可视化，也讨论了网络新词和自定义词典的处理方式。即使你现在只用代码跑通了这个 Demo，也说明你对中文文本处理的基本链路已经有概念了。

如果继续深入，可以考虑以下几个方向：

• 学习LSTM、BERT等深度学习模型如何做情感分类。
• 学习如何构建自己的情感标注数据集。
• 学习如何使用大模型 API 做零样本情感分析，并与传统方法对比效果。
• 把情感分析封装成 Flask 或 FastAPI 服务，方便其他系统调用。

最后给你一个建议：不要指望任何一个模型开箱即用能解决所有问题。真正可靠的情感分析系统，一定是“通用模型 + 业务词典 + 人工标注数据 + 人工复核规则”的组合。希望这篇实战教程能成为你入门文本分析的一块垫脚石。如果你在跑代码时遇到问题，欢迎在评论区带上报错信息一起交流。