简介：本资源是一份面向计算机及相关专业在校生、教师与初学者的完整情感分析实践项目，聚焦新闻与微博评论两类典型中文文本，融合情感词典与机器学习双路径实现情感倾向判别，适用于课程设计、期末大作业及毕业设计参考。压缩包共32个文件，含16个Python源码（覆盖爬虫、数据清洗、特征提取、模型训练与评估全流程）、9个Markdown文档（含项目说明、研究背景、数据获取方法及报告源文件）以及7个CSV格式数据集，整体体积仅2.11MB，轻量易部署。已有331人下载学习，项目经导师指导获评97分高分，代码附详尽注释，目录按Analyze（分析模块）、Data（原始与处理后数据）、Report（研究报告）、Spyder（爬虫子系统）四类逻辑划分，虽需微调路径即可运行，但结构清晰、模块解耦，便于理解NLP情感分析工程全链路。
1. 新闻和微博评论情感分析：不是调个sklearn就完事，而是词典规则+模型校准的双轨落地
你是不是也试过直接拿TextBlob或SnowNLP跑微博评论，结果发现“这瓜保熟”被判成负面、“绝了”被标成中性，甚至把带 sarcastic 反讽的“太棒了，建议全国推广”当成五星好评？这不是模型不行，是纯机器学习在中文短文本上天然瘸腿——语境缺失、网络用语爆炸、反语高频、情绪粒度细（愤怒/嘲讽/无奈/悲壮根本不是同一类负面）。这个项目真正解决的，是如何让情感分析在真实业务场景里不翻车：它用知网Hownet+哈工大同义词林构建中文情感词典骨架，再用SVM/XGBoost对词典输出做二次校准，最后在新闻标题（结构化强）和微博评论（碎片化高）两类数据上分别验证效果。整套流程跑通后，F1-score在微博测试集上达0.82，新闻标题达0.91，比单用词典提升23%，比单用BERT微调快17倍（CPU环境实测）。适合课程设计、毕设开题、舆情监控原型开发——尤其当你被导师问“为什么不用深度学习”时，能拿出这张词典+模型的协同证据链。
2. 情感词典构建与机器学习校准：为什么必须双轨并行？
2.1 中文情感词典不是简单加载词表，而是三层权重体系
这个项目没用现成的jieba.analyse或THULAC直接分词喂模型，而是先构建了一套可解释、可调试的词典引擎。核心逻辑在Analyze/sentimentDictionary.py里，它不是静态查表，而是动态计算三个维度：
- 基础极性分：从Hownet抽取“褒义词/贬义词/中性词”三类，但做了关键改造——把“好”“优秀”“卓越”按强度分级（1~3分），避免“一般般”和“差劲”都算-1分；
- 程度副词加权：识别“非常”“极其”“略”“稍”等副词，乘以系数（1.5/2.0/0.7/0.6），这部分在
keywordsGeneration.py里用正则预编译了23个高频副词模式； - 否定词反转：处理“不”“未”“非”“无”等否定词，但只作用于紧邻下一个名词/形容词（如“不开心”→-1，“不开心但很感动”→-1+2=+1），避免全句取反的玄学错误。
提示：词典路径默认指向
Data/dict/，但实际文件名是hownet_zh.txt和synonym_dict.txt，注意大小写。若报FileNotFoundError，先检查Analyze/sentimentDictionary.py第42行dict_path = os.path.join('..', 'Data', 'dict')是否与你的解压目录一致。
2.2 机器学习模型不是黑匣子，而是词典输出的校准器
词典给出的是粗粒度打分（比如某条评论得分为-1.8），但最终要映射到“正面/中性/负面”三分类。这里用SVM做校准，关键设计点有三个：
- 特征工程：输入不是原始文本，而是词典计算出的4维向量：
[总分, 正向词数, 负向词数, 否定词出现频次]+文本长度归一化值； - 标签生成：人工标注了2000条微博和1500条新闻标题（存于
Data/label/），但没直接用人工标签训练模型，而是用词典打分作为初始标签，再用SVM学习“词典哪里容易错”； - 模型选择：对比了LR、RF、XGBoost，最终选SVM（RBF核）——因为小样本下泛化更好，且决策边界可解释（
model.support_vectors_能反查哪些样本最影响分类）。
# Analyze/train_model.py 关键片段 from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler # 特征矩阵 X.shape = (n_samples, 5), y 是词典初筛标签 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 必须标准化！否则SVM对尺度敏感 # RBF核参数调优：gamma太小=线性近似，太大=过拟合 model = SVC(kernel='rbf', gamma=0.01, C=10, random_state=42) model.fit(X_scaled, y)这段代码里gamma=0.01和C=10是血泪经验调出来的——在Data/val/验证集上扫参后确定。如果你换数据，务必重跑grid_search.py，别硬抄参数。
2.3 新闻与微博的差异化处理：结构化文本 vs 碎片化文本
新闻标题（如“北京新增本土病例23例”）和微博评论（如“啊？又封？我泡面还剩三包…”）的文本特性天差地别，项目用两套策略应对：
| 处理维度 | 新闻标题处理方式 | 微博评论处理方式 |
|---|---|---|
| 分词粒度 | 用jieba.cut_for_search()（搜索引擎模式），保留“本土”“病例”等专业词 | 用jieba.lcut()+自定义词典，加入“封”“泡面”“绝绝子”等网络热词 |
| 停用词表 | 用Data/stopwords/news_stopwords.txt（含“据悉”“报道称”等媒体套话） | 用Data/stopwords/weibo_stopwords.txt（含“哈哈哈”“emmm”“卧槽”等语气词） |
| 情感锚点 | 强依赖动词+名词组合（如“新增病例”→负面，“发布利好”→正面） | 强依赖表情符号+感叹号密度（“！！！”权重×1.8，“😭”权重×2.5） |
这种差异不是拍脑袋定的——Report/analysis_notebook.ipynb里有可视化证据：新闻标题的TF-IDF特征集中在“疫情”“防控”“经济”等实体词，而微博的top特征是“封”“核酸”“抢菜”“崩溃”。
3. 数据获取与爬虫模块：别被Spyder目录名骗了，它本质是可控采集器
3.1 爬虫不是万能钥匙，而是带熔断机制的数据管道
项目里的Spyder/目录看似是通用爬虫，实则是为特定目标站点定制的轻量采集器，且明确规避了反爬雷区：
newsSpyder.py：只抓取已公开的新闻聚合页（如新浪新闻频道列表页），不登录、不模拟点击、不滚动加载，用requests+BeautifulSoup解析HTML，每页限速1.5秒；Weibo.py：不抓取用户主页或私信，只采集话题页公开评论（如https://weibo.com/ajax/statuses/buildComments?接口），且请求头严格模拟移动端（User-Agent: Weibo Android），每分钟请求数≤30；jstvSpyder.py：专为抓取江苏卫视官网的疫情通报稿（结构固定），用XPath精准定位<div class="content">下的<p>标签，避开JS渲染区域。
注意：所有爬虫脚本开头都有
if __name__ == '__main__':保护，且默认DEBUG = False。运行前务必检查Spyder/config.py里的BASE_URL和SAVE_PATH——SAVE_PATH默认是../Data/raw/，如果解压后目录层级变了，这里必须同步改。
3.2 数据清洗不是删空行，而是修复语义断裂
原始爬取数据常有三大坑：HTML残留（<br>、 ）、乱码（GBK/UTF-8混用）、截断（Ajax加载不全）。清洗逻辑在Analyze/clean_data.py里，重点看这三个函数：
def clean_html(text): """移除HTML标签但保留换行语义""" text = re.sub(r'<br\s*/?>', '\n', text) # <br>转\n，不是删掉 text = re.sub(r'<[^>]+>', '', text) # 删其他标签 return re.sub(r'\s+', ' ', text).strip() # 多空格→单空格 def fix_encoding(text): """自动检测编码并转UTF-8""" try: return text.encode('latin1').decode('utf-8') except: try: return text.encode('gbk').decode('utf-8') except: return text # 放弃修复，留原样 def repair_truncation(text): """修复Ajax截断：检查末尾是否为完整标点""" if not text.endswith(('。', '！', '？', '”', '’')): # 截断概率高，补句号（仅限新闻标题） if len(text) < 50: # 标题长度阈值 text += '。' return text这段代码的repair_truncation是针对新闻标题的特殊处理——微博评论不做此操作，因为短文本本身就不需要句号收尾。
3.3 数据集结构不是摆设，而是训练/验证/测试的物理隔离
Data/目录下实际有四层结构，每层都对应明确用途：
| 目录路径 | 内容说明 | 使用时机 |
|---|---|---|
Data/raw/ | 爬虫原始输出（.html或.json），含未清洗文本 | 仅用于溯源，不参与训练 |
Data/cleaned/ | 清洗后文本（.txt），每行一条，已去HTML、编码统一、截断修复 | 词典分析和特征提取的输入源 |
Data/label/ | 人工标注的黄金标准（news_label.csv,weibo_label.csv），含ID+文本+标签 | 模型评估的Ground Truth |
Data/feature/ | 词典计算出的4维特征向量（.npy），命名如news_svm_features.npy | SVM/XGBoost训练的直接输入 |
特别注意：Data/label/里的标注不是全量数据，而是抽样标注——新闻标题标注了1500条，微博评论2000条，其余数据用词典初筛标签填充。这是课程设计的合理妥协，不是缺陷。
4. 避坑指南：那些让你debug到凌晨三点的隐藏陷阱
4.1 现象：sentimentDictionary.py报KeyError: 'xxx'，但词典文件里明明有这个词
原因：词典加载时用了str.strip()，但原始词典文件末尾有BOM头（\ufeff），导致'好'实际读成'\ufeff好'，查表失败。
解决：打开Data/dict/hownet_zh.txt，用VS Code以UTF-8无BOM格式另存；或在sentimentDictionary.py第35行加line = line.strip('\ufeff')。
4.2 现象：train_model.py训练时内存爆满（>8GB），但数据只有3500条
原因：StandardScaler对稀疏特征做标准化时，内部会转成稠密矩阵。而词典特征虽只有5维，但X数组被误初始化为(3500, 1000)（因某处np.zeros((n, max_len))写错max_len）。
解决：检查Analyze/feature_engineer.py第68行，确认feature_dim = 5，且X = np.zeros((len(docs), feature_dim))。
4.3 现象：微博评论分析结果全是“中性”，F1-score卡在0.33
原因：Weibo.py爬取的评论含大量[图片]、[视频]占位符，清洗时没过滤，导致词典匹配失败（“[图片]”不在词典里，贡献0分，拉低整体得分）。
解决：在clean_data.py的clean_html函数末尾加text = re.sub(r'\[.*?\]', '', text)，删除所有[xxx]格式占位符。
4.4 现象：newsSpyder.py运行时报requests.exceptions.ConnectionError
原因：新浪新闻列表页已升级HTTPS强制跳转，但脚本里URL还是http://开头，且没设allow_redirects=True。
解决：修改Spyder/newsSpyder.py第22行，url = 'https://news.sina.com.cn/'，并在requests.get(url, ...)里加allow_redirects=True。
4.5 现象：Report/analysis_notebook.ipynb里图表显示乱码（方块代替汉字）
原因：Matplotlib默认字体不支持中文，Jupyter内核没加载中文字体。
解决：在Notebook第一单元格运行：
import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei', 'Arial Unicode MS'] plt.rcParams['axes.unicode_minus'] = False # 解决负号'-'显示为方块的问题5. 模型部署与效果验证：用真实业务场景倒逼代码健壮性
5.1 不是跑通python main.py就叫部署，而是封装成可复用的API服务
项目没用Flask/Django搭全栈，而是用Analyze/deploy_api.py做了极简HTTP服务——因为它只解决一个痛点：让非Python同学也能调用模型。核心逻辑就三步：
- 接收POST请求，
data字段传入待分析文本（JSON格式）； - 调用
sentimentDictionary.get_score()计算词典分； - 用已训练好的SVM模型（
model.pkl）预测最终情感类别。
# Analyze/deploy_api.py 关键服务逻辑 from flask import Flask, request, jsonify import joblib import numpy as np app = Flask(__name__) model = joblib.load('../Model/svm_news_model.pkl') # 注意路径 scaler = joblib.load('../Model/scaler.pkl') @app.route('/analyze', methods=['POST']) def analyze_sentiment(): data = request.get_json() text = data.get('text', '') # 词典打分（返回4维向量） features = sentimentDictionary.get_score(text) # 标准化+预测 features_scaled = scaler.transform([features]) pred = model.predict(features_scaled)[0] # 返回结构化结果 result = { 'text': text[:50] + '...' if len(text) > 50 else text, 'sentiment': ['正面', '中性', '负面'][pred], 'confidence': float(model.decision_function(features_scaled)[0].max()) } return jsonify(result) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000, debug=False) # 生产环境关debug这段代码的confidence字段不是随便写的——它取decision_function的最大值，数值越大说明离决策边界越远，可信度越高。测试时用curl -X POST http://localhost:5000/analyze -H "Content-Type: application/json" -d '{"text":"今天核酸检测排队两小时"}'就能验证。
5.2 效果验证不是看准确率，而是做三组对抗测试
课程设计最容易被导师挑战：“你这模型在真实场景里真能用？” 项目在Report/robustness_test.md里设计了三组硬核验证：
| 测试类型 | 构造方法 | 项目表现 | 说明 |
|---|---|---|---|
| 反讽测试 | 手动构造20条反语句（如“这政策太好了，建议明天就执行”） | 词典初筛全部判正面（F1=0.0），SVM校准后正确率85% | 证明模型能学反讽模式 |
| 新词测试 | 加入10个2023年新热词（如“显眼包”“电子布洛芬”） | 词典未收录时返回0分，但SVM仍基于上下文（“显眼包真可爱”）判正面，准确率70% | 证明模型有上下文泛化能力 |
| 噪声测试 | 在文本末尾随机加10个emoji或乱码（如“👍🔥❌@#$%”） | 词典分波动±0.3，SVM预测结果不变（稳定性测试通过） | 证明鲁棒性达标 |
这些测试不是摆设——Analyze/test_robustness.py里有完整代码，运行后生成Report/robustness_result.csv，可直接贴进答辩PPT。
5.3 进阶技巧：如何用词典分数做模型可解释性报告
最常被忽略的价值点：词典输出不是中间产物，而是可交付的解释性报告。比如分析一条微博“核酸检测点排队长达3公里，工作人员说‘慢慢来’”，项目会生成：
【词典分析】 - 正向词：无 → +0.0 - 负向词："长"（-0.5）、"长达"（-1.2）、"排队"（-0.8）→ 总分 -2.5 - 程度副词："长达"已含强度 → ×1.0 - 否定词：无 → 无反转 → 词典初筛：负面（-2.5） 【模型校准】 - 输入特征：[-2.5, 0, 3, 0, 0.82] → SVM判定：负面（置信度0.93） - 关键依据：负向词数（3）和文本长度归一化值（0.82）同时超标这个报告逻辑在Analyze/explain_prediction.py里实现，调用时传入文本和模型，自动输出Markdown格式解释。从那以后我每次给导师演示，都强制走一遍explain_prediction.py——不是为了炫技，是让模型决策过程透明到能被文科生看懂。希望帮到你。
本文还有配套的精品资源，点击获取
