简介：针对电商评论情感分析这一典型自然语言处理任务，该源码包提供基于Word2Vec词向量与SVM支持向量机的完整课程设计/毕设实现，面向计算机、人工智能、电子信息等专业学生，可用于课设、毕设或项目初期演示，也适合有一定Python基础的学习者作为进阶案例参考。压缩包共18个文件，主要包含6个CSV数据集、5个Python脚本、4个npy向量数据、1个pkl训练模型、1个停用词文本与1份Markdown说明文档，整体大小31.03MB，目录层级清楚，代码覆盖从数据清洗、词向量训练、SVM建模到模型测试的完整流程。已有131人浏览学习，代码运行稳定，作者给出测试通过说明与答辩评审平均96分的结论，配合README可快速掌握项目结构并复现结果。除源码和训练好的模型外，还附带正负样本数据、验证集与模型持久化文件，方便读者理解特征表示与分类原理，也能在此基础上修改以适配其他情感分析场景。
1. Word2Vec+SVM 电商评论情感分析：中文分词、词向量和分类器的完整落地方案
刚开始做电商评论情感分析的人，最容易踩的坑是让分类器直接读中文文本。SVM 这类分类器只吃数值矩阵，你得先把“物流很快，客服态度也好”变成一串有语义的向量。这套基于 Word2Vec+SVM 的 Python 源码正好把这条链路走通了：数据清洗、分词、去停用词、词向量训练、句向量合成、SVM 分类、模型落盘与单条预测全部串好，适合做课程设计、毕设演示，也适合想快速复现一个可运行情感分析 demo 的初学者。整个项目代码量不大，但覆盖了文本分类最经典的一套组合，拿到手改改数据就能跑。
2. 为什么是 Word2Vec+SVM：这套组合的边界与选型逻辑
2.1 词向量怎么把文本变成机器能算的东西
SVM 不认识字，它只认向量空间里的点。早期做法是 Bag of Words，把每个句子拆成词，统计词频，得到一个高维稀疏向量。坏处很明显：词表一万个词，每条评论就是一万维，且“好吃”和“难吃”这两个词在空间里没有任何距离关系，模型学不到语义相似性。
Word2Vec 解决的是“词的语义表示”。它通过一个极简的神经网络，用上下文预测中心词，或者用中心词预测上下文，训练完后每个词对应一个稠密向量，比如 100 维或 200 维。在这个向量空间里，“好吃”和“美味”距离很近，“难吃”和“糟糕”距离很近，这是词频统计做不到的。
模型训练完只得到每个词的向量，但要分类的是整条评论。常见做法是取句子所有词向量的均值，得到一个句向量，再把这个句向量交给分类器。这个项目的 word_vec.py 就是这么做的。
2.2 为什么分类器选了 SVM 而不是朴素贝叶斯或深度学习
这里要分两个场景看。如果你做的是大规模在线评论流，深度学习模型比如 TextCNN、BERT 会更合适，但需要 GPU、大量标注数据和更长的调参周期。课程设计场景下，数据集通常几百到几千条评论，SVM 的优势就出来了。
SVM 在中小规模高维数据上表现稳定，尤其当你用 RBF 核函数时，它能在样本数不多的情况下找到一个泛化能力不错的分类边界。对比项目里另一个常见选项朴素贝叶斯，SVM 对这种情感倾向明显的短文本更抗噪。评论里经常有口语化表达、标点符号异常、中英文混杂，朴素贝叶斯对特征独立性假设比较敏感，SVM 通过核函数映射到高维空间后，容错性更好。
还有一个现实原因：SVM 训练速度快。几千条样本在普通笔记本上几秒钟就训完了，不需要调学习率，不需要考虑 batch size，对深度学习还不熟的同学来说，SVM 是更低门槛的稳妥选择。项目里 train_model.py 用的就是 sklearn 的 svm.SVC。
2.3 数据链路总览：从 CSV 到 pkl 模型
打开压缩包可以看到整个项目的数据流是线性的，每一步都有对应的脚本和产物文件。第一步 data_seal.py 读取原始的 pos.csv 和 neg.csv，分别存放好评和差评，经过清洗、分词、去停用词后，输出 x_train_data.csv 和 x_train_data.npy 等文件。第二步 word_vec.py 加载 csv 分词结果，训练 Word2Vec 模型，然后把每条评论映射成句向量，输出 x_train_data.npy 和 x_test_data.npy。第三步 train_model.py 读入句向量和标签，训练 SVM，最后把模型存成 svm_model.pkl。第四步 model_test.py 加载这个 pkl 文件，输入一条新评论，输出情感分类结果。
这个链路的好处是每一步都有中间文件，哪一步出了问题可以单独排查。比如你觉得 Word2Vec 训练效果不好，只需要重新跑 word_vec.py，不需要动 SVM 的训练逻辑。文件清单里还有 y_train_data.npy、y_test_data.csv 这些文件，说明脚本已经提前帮我们把数据集按比例拆分好了，训练集和测试集是分开存的。
提示：如果把 data_seal.py、word_vec.py、train_model.py 连起来看，它就是一条标准的 NLP 文本分类流水线。这个结构在后续换数据集、换分类器时都能复用。
3. 四个源码模块逐个拆开：从原始 CSV 到 svm_model.pkl 的完整链路
3.1 data_seal.py：把“好评/差评”csv 变成干净的 token 序列
原始评论不能直接拿去训练，原因有两个：中文分词需要先做，不然后续词向量训练完全没有意义；评论里大量停用词和特殊字符会增加词表大小，拉低训练效率。data_seal.py 的核心任务就是清洗和预处理。
import jieba import pandas as pd import re def clean_text(text): # 去掉 URL、@用户、数字、特殊符号，保留中文和基本标点 text = re.sub(r'http\S+', '', text) text = re.sub(r'@\S+', '', text) text = re.sub(r'\d+', '', text) text = re.sub(r'[^\u4e00-\u9fa5\s]', '', text) return text def load_stopwords(path='stop_char.txt'): with open(path, 'r', encoding='utf-8') as f: stopwords = set(line.strip() for line in f) return stopwords def process_csv(input_path, output_path, stopwords): df = pd.read_csv(input_path, encoding='utf-8') results = [] for line in df['comment']: cleaned = clean_text(str(line)) if not cleaned: results.append('') continue tokens = jieba.lcut(cleaned) tokens = [t for t in tokens if t not in stopwords and t.strip()] results.append(' '.join(tokens)) with open(output_path, 'w', encoding='utf-8') as f: f.write('\n'.join(results)) return results stopwords = load_stopwords() pos_tokens = process_csv('data/pos.csv', 'data/x_train_data.csv', stopwords)逻辑说明：clean_text 函数先剔除噪声字符，正则[^\u4e00-\u9fa5\s]表示只保留中文和空格，这一步把英文字母、标点、emoji 全部过滤掉。这里有个取舍——如果你想保留“iPhone”这类品牌词，正则就要改成允许部分英文，但代价是词表膨胀，对课程设计场景来说过滤掉更省事。
分词用了 jieba.lcut，返回的是列表。去停用词后，每条评论被拼成一个以空格分隔的字符串，方便后续 Word2Vec 读取。stop_char.txt 里存的是常见停用词，比如“的、了、是、在、我”这一类。如果停用词表太大，把“不”和“很”这种包含情感倾向的词也放进去了，会直接影响后续情感分类效果，所以停用词表要人工过一遍。
这个脚本还有个容易忽视的细节：它把处理结果直接写入了 x_train_data.csv，同时保留了一个 return 值。后面如果要把处理结果直接喂给下一个脚本，可以通过返回值传递，不必重复读文件。encoding='utf-8'必须显式指定，Windows 下默认编码可能导致中文乱码。
3.2 word_vec.py：训练 Word2Vec 并生成句向量
分词完成后，词向量训练就是个标准的 gensim 调用。但文本变向量的方式才是影响分类效果的关键，要在这里把两种做法说清楚。
from gensim.models import Word2Vec import numpy as np def load_tokenized(path): sentences = [] with open(path, 'r', encoding='utf-8') as f: for line in f: tokens = line.strip().split() if tokens: sentences.append(tokens) return sentences sentences = load_tokenized('data/x_train_data.csv') # 训练 Word2Vec，向量维度 100，窗口 5，最小词频 1 model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=0, epochs=10) model.save('data/w2v_model') def sentence_to_vec(tokens, w2v_model, dim=100): vecs = [w2v_model.wv[token] for token in tokens if token in w2v_model.wv] if not vecs: return np.zeros(dim) return np.mean(vecs, axis=0) X = np.array([sentence_to_vec(sent, model) for sent in sentences]) np.save('data/x_train_data.npy', X)逻辑说明：这里把每句话的所有词向量取平均，得到一个 100 维的句向量。sg=0表示使用 CBOW 模型，它对高频词更友好；如果数据集比较小，sg=1（Skip-gram）往往更稳定，但训练时间更长。向量维度和训练语料的丰富度直接相关，如果是电商垂直领域评论，100 维够用；如果是全品类大语料，可以考虑 200 维。
sentence_to_vec里的判断条件if token in w2v_model.wv很关键。预测阶段经常会遇到训练语料里没出现过的词，即 OOV（Out of Vocabulary），这些词直接被忽略。如果整句话所有词都不在词表里，返回零向量，后续 SVM 会把这条评论判定为距离分类边界最近的一类，这在前面的新手阶段容易让人摸不着头脑。
提示：均值池化是最简单的句向量生成方式，缺点是丢失了词序信息。如果你希望效果更好点，可以尝试用 TF-IDF 加权平均，把高频无意义词的权重压下去，这个在下一章讲进阶用法时展开。
3.3 train_model.py：SVM 训练与 pkl 模型导出
特征矩阵 X 和标签 y 都准备好后，SVM 训练就是几行代码的事，但这里最容易出现类别不平衡和参数未调的问题。
from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import numpy as np import pandas as pd X = np.load('data/x_train_data.npy') y = pd.read_csv('data/y_train_data.csv', header=None).values.ravel() # 8:2 切分训练集和验证集 X_train, X_val, y_train, y_val = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) # 使用 RBF 核，C=1.0，gamma='scale' clf = SVC(kernel='rbf', C=1.0, gamma='scale', probability=True, random_state=42) clf.fit(X_train, y_train) val_pred = clf.predict(X_val) print('Accuracy:', accuracy_score(y_val, val_pred)) import joblib joblib.dump(clf, 'data/svm_model.pkl')逻辑说明：这份代码里切分数据集时用了stratify=y，确保好评和差评在训练集和验证集里比例一致。很多课设代码会漏掉这一步，如果原始数据正负样本不均匀，随机切分后验证集可能全是好评，跑出来的准确率没有任何参考价值。
SVC的参数里，probability=True是为了让模型能输出预测概率，配合后面的predict_proba使用。如果不开启这个参数，模型只能给出分类结果，不能给出置信度。C 值默认 1.0，控制的是误分类惩罚力度，C 越大模型越容易过拟合；gamma 默认scale，自动根据特征维度计算。课程设计阶段这两个默认参数通常够用，如果验证集准确率明显偏低，再回头调。
joblib.dump比 pickle 更适合持久化 sklearn 模型，因为它是专门针对大数据对象优化的，加载速度快很多。模型最后存成 svm_model.pkl，这个文件就是整个项目的核心交付物，后面 model_test.py 加载它做预测，不需要重新训练。
3.4 model_test.py：加载模型跑单条实测
训练完了，最终要验证模型能不能对未见过的新评论做出判断。model_test.py 把前面几步的预处理逻辑原样搬过来，接上加载好的 pkl 模型。
import joblib import jieba import numpy as np from gensim.models import Word2Vec def clean_text(text): import re text = re.sub(r'http\S+', '', text) text = re.sub(r'@\S+', '', text) text = re.sub(r'\d+', '', text) text = re.sub(r'[^\u4e00-\u9fa5\s]', '', text) return text def sentence_to_vec(tokens, w2v_model, dim=100): vecs = [w2v_model.wv[t] for t in tokens if t in w2v_model.wv] if not vecs: return np.zeros(dim) return np.mean(vecs, axis=0) model = joblib.load('data/svm_model.pkl') w2v = Word2Vec.load('data/w2v_model') # 模拟一条电商评论 new_comment = "这个手机壳手感不错，物流很快，客服态度也好" tokens = [t for t in jieba.lcut(clean_text(new_comment)) if t.strip()] X_new = sentence_to_vec(tokens, w2v) prob = model.predict_proba([X_new])[0] pred = model.predict([X_new])[0] print('预测标签:', pred) print('置信度:', prob[pred])逻辑说明：预测阶段的文本处理必须和训练阶段完全一致，规则包括正则清洗、jieba 分词、去停用词、词向量字典查找、均值池化。这些步骤散落到两个脚本中，没有抽成公共函数，所以新手改数据时容易漏掉其中之一，导致预处理不一致，模型效果完全失真。
predict_proba返回的是一个二维数组，每行对应一条评论，每列对应一个类别的概率。标注数字 0 和 1 对应的情感方向由训练数据里 y 的编码决定，比如 1 代表好评、0 代表差评。如果模型在单条语句上输出的概率长期稳定在 0.5 附近，说明这条评论的情感非常模糊，或者特征向量在分类边界附近，这个结果也是有价值的。
提示：压缩包里已经包含了训练好的 svm_model.pkl 和 w2v 模型，就算你嫌麻烦不想重新训练，也可以直接从 model_test.py 开始跑单条预测，适合刚开始接触项目时快速看到效果。
4. 复现避坑：数据泄露、编码、OOV 的高频翻车现场
4.1 训练时准确率 0.95，测试时只有 0.6
现象：SVM 在训练集上准确率接近满分，但在验证集或真实数据上掉到及格线附近，明显过拟合。
原因：最常见的有两类。一是原始数据本身就存在重复样本，训练时模型把重复样本的标签背下来了；二是特征工程泄露，比如在做 train_test_split 之前就对全量数据做了标准化或向量化，Word2Vec 已经看过测试集的文本，等于测试集信息提前进入了训练阶段。
解决：在处理流程里先切分原始数据，再对训练集做 Word2Vec 训练和句向量生成，测试集使用同一套词表映射，不参与 Word2Vec 训练。另外检查数据里有没有大量完全重复的评论，如果有，在切分前做一次去重。常见做法是跑一句len(df) - len(df.drop_duplicates())看看重复量，电商评论里很多刷单式的相同文案，去重之后准确率才真实。
4.2 加载 svm_model.pkl 报 ValueError/UnpicklingError
现象：model_test.py 在joblib.load那行直接报错，错误信息大致是 “module not found” 或 “inconsistent data structures”。
原因：sklearn 的模型文件里保存了版本相关的内部结构，用不同版本的 scikit-learn 加载旧模型，经常会因为 API 变更导致反序列化失败。另一个常见原因是压缩包里的 pkl 文件是用 Windows 路径保存的，跨平台拷贝后路径字段失效。
解决：不要直接用对方的 pkl 文件，最省事的办法是用 train_model.py 在你自己的环境里重新训练一遍，环境一致性和模型兼容性同时解决。如果必须使用现成的 pkl，那就严格对齐 requirements 里的 sklearn 大版本。实操里我一般直接看报错信息里的类名，然后用pip install scikit-learn==对应版本重建环境。
4.3 Windows 下中文文件读出乱码
现象：训练脚本跑起来，读出的 pos.csv 和 neg.csv 里中文全是 “褰﹀寘” 这类乱码符号，分词结果惨不忍睹。
原因：很多下载下来的数据文件是 UTF-8 编码，但 Windows 下的记事本或 Excel 打开后另存为 ANSI 编码，导致二次保存时数据被改写。还有可能是代码里pd.read_csv没指定编码参数，pandas 用系统的默认编码读取导致乱码。
解决：把数据文件统一转成 UTF-8 是完全可复现的操作。用记事本打开原始 csv，另存为时选择 “UTF-8 编码”，或者直接用一个简单脚本批量转码。更快的方式是把pd.read_csv(input_path, encoding='utf-8')改成encoding='gbk'试一次，如果 GBK 能正常显示说明文件是 ANSI 编码。我自己遇到这类问题时，会优先用 Python 的codecs模块写个小函数探测编码，而不是靠猜。这里的大原则是：所有脚本里读写文件的地方统一显式指定encoding='utf-8'，不依赖环境默认值。
4.4 新评论全是零向量导致模型丧失区分能力
现象：给 model_test.py 输入“这个商品太差了”，模型预测出来的概率是 0.5 或者完全偏向某一类，怎么换句子结果都一样。
原因：这是 OOV 问题。训练语料太小，Word2Vec 词表里没有“太差”中的某个关键情感词，或者分词后的所有词都不在词表里，句子被映射成了零向量。SVM 面对零向量，默认会把它分到距离超平面最近的那一侧，多试几条会发现输出概率高度接近。另一个隐蔽原因是停用词表把情感词误删了，比如“不”出现在停用词表里，等于把转折否定词抹掉，句子语义完全反转。
解决：换数据时先检查新评论里最高频的 10 个词去重后，有多少出现在 w2v_model.wv 里，用model.wv.key_to_index判断即可。其次是不要在情感任务里把“不”“没”“别”这类否定词加进停用词表。如果确实语料太小词表覆盖不全，可以用更大的预训练中文词向量替换训练得到的 w2v_model，在知乎或开源社区能找到训练好的百度百科词向量压缩文件，load 之后替换掉原来的模型即可。
4.5 训练脚本跑得慢，Word2Vec 前处理卡住
现象：word_vec.py 在Word2Vec(sentences, ...)这行卡很久，CPU 占用率高但没有明显进展，或者直接内存溢出。
原因：多半是 sentences 没有做频次过滤，min_count=1把所有出现 1 次的词都当成了有效词。电商评论文本是典型的长尾分布，大量词只出现一次，词表极大，训练复杂度和词表规模直接挂钩。
解决：训练前用一个Counter统计词频，把只出现一次的词从训练语料里过滤掉，同时把min_count设置成 2 或 3。高频词的语义信息丰富，低频词的向量本身就是噪声，去掉之后不仅训练更快，SVM 准确率往往还更好，因为特征空间里的噪声维度更少了。对于压缩包里自带的小规模数据，两三百 MB 内存足够跑完，如果还卡多半是杀毒软件对写入文件做了实时扫描，直接把项目目录加白名单就行。
5. 进阶用法：调 C 值、换加权向量、用交叉验证验证模型鲁棒性
基础链路跑通后，准确率可能停留在 0.8 左右。想让分数往上走，最直接的方式是调 SVM 参数和句向量生成策略。第一优先看的是 C 值和 gamma 值。C 控制误分类惩罚，C 太大对异常点过度敏感，C 太小模型会过于简单。常见做法是用网格搜索在[0.1, 1, 10, 100]和[0.001, 0.01, 0.1]里组合试，课程设计阶段 10 组以内就能跑完。更简单的是用 sklearn 的GridSearchCV自动搜一组。
第二优先是句向量生成。前面用均值池化把句子里所有词一视同仁，但“的”“了”“地”这类词即使不下沉，对情感判断的贡献也很低。改用 TF-IDF 加权平均后，高频无情感词的权重会被压制，情感词的权重得到提升。实现上只需要在 sentence_to_vec 里多算一个 TF-IDF 权重数组，把原来的np.mean改成加权平均式：词向量乘对应权重再除以权重总和。
第三优先是验证模型是否真的稳定。单次 8:2 切分有运气成分，可能切分出的验证集恰好偏向容易分类的样本。如果时间允许，把准确率评估改成 5 折交叉验证，每次用不同组合训练和验证，取 5 次准确率的均值和标准差。标准差越小说明模型越稳定，也说明前面调出的参数可信度高。
一个具体技巧：保存模型前用clf.decision_function(X_val)输出阈值分数，然后拿分数最低的几条验证集样本看一遍。你会发现模型最容易判错的往往是那些“物流慢但酒好喝”式的混合评价，这类句子本身两部分倾向相反，词向量均值后会把方向互相抵消。遇到这种情况不要急着调参，先去确认数据标注是不是把这类句子归了中性，如果原数据本来就是二分类，这类误判属于标签本身的问题。从那以后，我每次拿到新的情感分析数据，第一件事不是跑模型，而是打印 20 条训练样本的词向量均值分布，确认正负样本在向量空间里有分离度再继续。这个习惯帮我把调参时间缩短了近一半，希望帮到你。
本文还有配套的精品资源，点击获取
