电商评论情感分析Python源码实践：从预处理到模型评估

简介：面向电商产品评论情感分析场景的Python源码包，适合NLP初学者、电商数据分析师以及需要快速搭建文本分类流程的开发者。项目围绕中文用户评论数据，完整覆盖数据清洗、去停用词、jieba分词、情感词典匹配、TF-IDF与词袋特征构建，以及朴素贝叶斯、SVM、逻辑回归等分类模型的训练、评估与预测。压缩包共22个文件，以txt说明文档、py主程序和csv数据文件为主，整体18.34MB。txt说明文档详细介绍了项目依赖与模块导入方式，csv数据可直接用于建模，py代码按数据读取、预处理、特征工程、模型训练与评估等模块封装，并涉及jieba、sklearn、pandas等常用Python库。目前已有85人学习下载，代码结构清晰易读，便于在此基础上调整特征或替换深度学习模型，是理解电商评论情感分析流程的实用参考，适合作为课程设计、毕业设计或项目实践的起点。

1. 电商评论情感分析：这份 Python 源码到底解决了什么问题

做电商运营或商品分析的人多少都有过这种经历：后台存了几万条用户评论，想快速知道这批货到底是好评多还是差评多、用户高频吐槽的点集中在哪几个词上，靠人眼一条条看根本不现实。这份“电商产品评论数据情感分析 Python 源码”就是干这件事的——把原始评论文本清洗、分词、转成数值特征，再用机器学习模型把每一条评论判定为正向或负向情感，最后输出准确率、F1 分数和混淆矩阵这类可量化的结果。适合刚接触 NLP 的 Python 开发者、电商数据分析岗的从业者，以及做毕业设计需要完整文本分类流程参考的学生。它不依赖 GPU、不强制上深度学习，用 sklearn 和 jieba 就能把整条链路跑通。

2. 数据预处理：jieba 分词与停用词表是情感分析的地基

2.1 数据装载与字段观察：先看清 data 目录里有什么

压缩包解压后，data 目录里存的是原始评论数据，tmp 目录放中间产物，code.py 是主程序。拿到数据的第一件事不是写代码，而是确认三件事：文件编码、有几列、标签长什么样。电商评论一般有两种存储形态，一种是带 sentiment 标签的训练数据，另一种是只有评论文本的待预测数据。先在代码里做一次快速探查：

import pandas as pd # 先用 python 内置编码探测工具看文件实际编码，别直接指定 utf-8 import chardet with open('data/comment.csv', 'rb') as f: raw = f.read(10000) result = chardet.detect(raw) print(result) # 常见输出 {'encoding': 'GB2312', 'confidence': 0.99} df = pd.read_csv('data/comment.csv', encoding=result['encoding']) print(df.shape) print(df.head(10)) print(df['sentiment'].value_counts() if 'sentiment' in df.columns else '无标签列')

逻辑说明：第一步先用 chardet 探测编码，是为了避免直接指定 utf-8 后读出来全是乱码。电商平台的导出数据常常是 GBK / GB2312 编码，这在 Windows 上导出的 CSV 里尤其常见。第二步打印 df.shape 和 head(10) 是为了确认字段名和数据类型，防止列名里藏了空格或 BOM 头。

参数说明：chardet.detect 只读取前 10000 字节，足够判断常见的几种文件编码。如果数据量大，也可以把 read 的字节数加到 50000，准确率更高。打印 value_counts 是为了看正负样本是否均衡，这决定了后面要不要做类别权重处理。如果发现 sentiment 列是 NaN 或者值很奇怪，说明这份 CSV 可能带了表头以外的异常行。

2.2 清洗规则与分词配置：jieba 的精确模式配自定义词表

中文文本不像英文那样天然按空格分词，所以清洗和分词要放在一起处理。评论里的噪音主要是：HTML 标签、URL、@用户、多余空白、数字、连续重复的标点。情感分析场景里，这些字符对判断正负向没有贡献，删掉反而能降噪。分词我一般用 jieba.lcut 配合 cut_all=False 精确模式，同时挂一个自定义词典，把商品名、平台名这类 jieba 默认词表里没有的词补进去：

import jieba import re # 自定义词典：每行一个词，可以带词频和词性，格式是"词 词频 词性" jieba.load_userdict('data/user_dict.txt') # 例如 user_dict.txt 里写：吉他 5 n def clean_text(text: str) -> str: if not isinstance(text, str): return '' # 去掉 HTML 标签 text = re.sub(r'<.*?>', '', text) # 去掉 URL text = re.sub(r'https?://\S+|www\.\S+', '', text) # 去掉 @用户 text = re.sub(r'@\w+', '', text) # 去掉纯数字和字母串，保留中文、英文词语、少量标点 text = re.sub(r'[0-9]+', '', text) text = re.sub(r'\s+', ' ', text) return text.strip() def tokenize(text: str, stopwords: set) -> str: text = clean_text(text) if len(text) == 0: return '' words = jieba.lcut(text, cut_all=False) # 过滤停用词、单字、空白 filtered = [w for w in words if w.strip() and w not in stopwords and len(w) > 1] return ' '.join(filtered)

逻辑说明：clean_text 的作用是消除文本噪声，保留主体内容。jieba.lcut 返回的是分词后的列表，cut_all=False 走精确模式，适合做情感分类，全模式产生的词组合噪声太多。过滤条件里 len(w) > 1 是为了把“的”“了”“啊”这类单字在没被停用词表覆盖时也顺手清掉，减少特征空间里的无效维度。

参数说明：自定义词典 user_dict.txt 里每行是“词 词频 词性”，词频建议写 5，词性可省略。注意词典文件必须是 UTF-8 编码。如果评论里反复出现“王者荣耀”“小米手环”这类专有名词，不加词典就会被 jieba 切碎成“王者/荣耀”，情感判断时这些碎片反而会成为干扰特征。

2.3 停用词表的选择：通用表里要手动补行业词

停用词表直接决定特征质量。用哈工大停用词表还是百度停用词表这个问题，实际区别不大，关键在于针对电商场景做增补。“客服”“退货”“物流”这些词在别的领域是正常词，但在评论情感分析里，它们经常同时出现在好评和差评里，区分度很低，容易把模型带偏。

def load_stopwords(path: str) -> set: with open(path, encoding='utf-8') as f: stopwords = {line.strip() for line in f if line.strip()} # 电商评论场景手动增补 extra = {'客服', '退货', '物流', '包裹', '快递', '好评', '差评'} stopwords.update(extra) return stopwords stopwords = load_stopwords('data/stopwords.txt') df['clean_comment'] = df['comment'].apply(lambda x: tokenize(x, stopwords)) df = df[df['clean_comment'] != ''] print(df.shape)

逻辑说明：load_stopwords 把通用停用词表读入集合，再手动把电商场景里的弱情感词加进去。这里用 set 做停用词存储，成员判断时间复杂度是 O(1)，几万条评论过滤时性能不受影响。filter 掉空字符串行很重要，因为有些评论本身就是“此用户未填写评价内容”，清洗后为空，这种样本对训练没有任何意义。

参数说明：停用词的增补没有标准答案，需要根据数据逐步迭代。一个可行的验证方式是：训练完模型后，把测试集里被误判的样本拉出来，看停用词表是不是过滤掉了真正的关键词。如果发现“不”被某些停用词表的词干还原处理掉了，立刻从表里删掉这个词。情感分析里否定词是强特征，停用词表宁可少删不可多删。

3. TF-IDF 特征工程：把文本从字符串变成数值矩阵

3.1 为什么弃用词袋改用 TF-IDF

词袋模型统计的是词频，但词频高不代表信息量大。一个评论里出现三次“包装”，可能只是用户多写了几句，并不代表“包装”对情感判断的贡献是“难用”的三倍。TF-IDF 的作用是给高频但常见的词降权，给在当前文档中出现、但在整个语料中很少见的词升权。“难用”如果只在 2% 的评论里出现，它的 IDF 权重就远高于出现在 80% 评论里的“东西”。对情感分析这种任务，特征区分度比特征覆盖率更重要，所以 TF-IDF 是比纯词袋更稳的默认选项。如果数据量特别大、要做快速基线，才考虑退化用 CountVectorizer。

3.2 vectorizer 的关键参数：max_features、ngram_range 与 min_df

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer( max_features=5000, ngram_range=(1, 2), min_df=2, max_df=0.8, sublinear_tf=True, norm='l2' ) X = vectorizer.fit_transform(df['clean_comment']) y = df['sentiment'].values print(X.shape) # 输出类似 (8421, 5000)

逻辑说明：fit_transform 做的事情是先统计全语料的词频和文档频率，计算出 IDF 权重，再把每一条评论转成稀疏矩阵。X.shape 里第一个值是样本数，第二个值是特征数，max_features=5000 直接把特征维度限制在 5000 维，防止稀疏矩阵膨胀。评论数据量不大时，特征数超过一万就很容易过拟合，限制维度比调模型参数更有效。

参数说明：

其中 ngram_range 是最值得调的参数。如果只到 (1,1)，像“不太满意”会被拆成“不太”“满意”两个词，否定关系丢失；调到 (1,3) 又会让特征数爆炸。我一般先跑一轮 (1,2)，看模型效果再决定要不要加三元组。

3.3 训练集与测试集的特征对齐：fit 和 transform 不能混

特征工程里最容易翻车的操作，是先对全量数据 fit_transform，再手动切分数据集。这样测试集的信息已经泄漏到向量器的词表和 IDF 统计里，评估出的准确率虚高，上线后面对新数据会明显衰减。正确做法是先切分，再在训练集上 fit，测试集上只 transform：

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) X_train_vec = vectorizer.fit_transform( df.loc[X_train.indices, 'clean_comment'] if hasattr(X, 'indices') else X_train )

更稳妥的方式是让 TfidfVectorizer 接收原始文本，而不是接收已经做好的稀疏矩阵：

X_train_raw, X_test_raw, y_train, y_test = train_test_split( df['clean_comment'], df['sentiment'], test_size=0.2, random_state=42, stratify=df['sentiment'] ) vectorizer = TfidfVectorizer( max_features=5000, ngram_range=(1, 2), min_df=2, max_df=0.8, sublinear_tf=True ) X_train_tfidf = vectorizer.fit_transform(X_train_raw) X_test_tfidf = vectorizer.transform(X_test_raw)

逻辑说明：fit_transform 只在训练集上调用，vectorizer 基于训练集构建词表和 IDF。测试集的 transform 只做矩阵映射，不修改词表也不重新计算 IDF。这样才能保证最终评估结果接近真实上线表现。stratify=df['sentiment'] 保证了切分后正负样本比例和原数据一致，防止某一折里全被分到好评。

参数说明：random_state=42 固定随机种子，跑多次实验结果可复现。test_size=0.2 是常规比例，数据量小可以改成 0.3，数据量大可以降到 0.1。这里的关键动作是 transform 和 fit_transform 的区分，代码跑完可以打印 X_test_tfidf.shape 看特征数是否等于训练集的 5000，如果小于 5000，说明向量器初始化顺序出了问题。

4. 模型训练与评估：从朴素贝叶斯到逻辑回归的对比路径

4.1 三类分类器选型依据

情感分类属于短文本二分类问题，常用的是朴素贝叶斯、逻辑回归、SVM 三类。朴素贝叶斯适合 TF-IDF 这种高维稀疏输入，训练速度快，在小数据集上常常能拿到不错的 F1 分数。逻辑回归输出的是概率值，可解释性强，且对特征权重的分析很有价值，能告诉你哪些词是模型眼里的强正向词、哪些是强负向词。SVM 在小样本高维场景表现好，但训练耗时比前两者大，且在电商评论这类噪声较多的语料上，线性核 SVM 和逻辑回归的效果差距通常很小。所以实践路径是先跑朴素贝叶斯做基线，再用逻辑回归精调。

4.2 朴素贝叶斯基线加交叉验证

from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import cross_val_score, GridSearchCV nb = MultinomialNB(alpha=1.0) scores = cross_val_score(nb, X_train_tfidf, y_train, cv=5, scoring='f1') print(f'NB CV F1: {scores.mean():.4f} (+/- {scores.std():.4f})') nb.fit(X_train_tfidf, y_train) print(f'NB Test F1: {f1_score(y_test, nb.predict(X_test_tfidf)):.4f}')

逻辑说明：MultinomialNB 是多项式朴素贝叶斯，要求特征是离散计数或 TF-IDF 这样的非负值，正好匹配 TfidfVectorizer 的输出。cross_val_score 跑 5 折交叉验证，scoring='f1' 说明我们关心的是 F1 而不是准确率，因为评论数据里好评占比偏高，准确率容易被多数类抬上去。打印 CV 均值后再在完整训练集上 fit 一遍，为后续测试集评估做准备。

参数说明：alpha 是拉普拉斯平滑系数，默认 1.0 基本够用。如果特征维度高且数据稀疏，alpha 取 0.5 到 1.0 之间即可。交叉验证折数 cv=5 是平衡了评估稳定性和训练开销的选择。如果 F1 均值比验证集 F1 低很多，说明模型泛化能力一般，需要回头检查特征或调模型。

4.3 逻辑回归参数调优：C 值与 class_weight 才是关键

from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, confusion_matrix param_grid = { 'C': [0.1, 1.0, 10.0], 'class_weight': [None, 'balanced'], 'max_iter': [1000] } lr = LogisticRegression(solver='liblinear') grid = GridSearchCV(lr, param_grid, cv=5, scoring='f1', n_jobs=-1) grid.fit(X_train_tfidf, y_train) print(f'Best params: {grid.best_params_}') print(f'Best CV F1: {grid.best_score_:.4f}') best_lr = grid.best_estimator_ y_pred = best_lr.predict(X_test_tfidf) print(classification_report(y_test, y_pred, digits=4)) print(confusion_matrix(y_test, y_pred))

逻辑说明：逻辑回归里 C 是正则化强度的倒数，C 越小正则化越强。TF-IDF 特征维度高，C 如果太大容易过拟合。class_weight='balanced' 会根据类别频率自动调整权重，差评样本少时这个参数能把召回率拉起来。solver='liblinear' 适合中小数据集，对 L2 正则化支持好，训练速度也比 lbfgs 快。GridSearchCV 会遍历所有参数组合，输出在当前折里 F1 最高的一组。

参数说明：max_iter=1000 是保险设置，逻辑回归用 liblinear 求解器时迭代上限默认是 100，有时会收敛不了。n_jobs=-1 让网格搜索用满所有 CPU 核心。如果数据量上万条，网格搜索的组合数建议控制在 12 组以内，否则训练时间不可接受。查看 confusion_matrix 输出时，要重点关注差评这一类别的 Recall，它比准确率更能反映模型有没有把差评漏掉。

4.4 从逻辑回归里提取特征权重，反向验证模型学到的东西

import numpy as np feature_names = vectorizer.get_feature_names_out() coefs = best_lr.coef_[0] top_positive_idx = np.argsort(coefs)[-10:] top_negative_idx = np.argsort(coefs)[:10] print('强正向词:', [feature_names[i] for i in top_positive_idx]) print('强负向词:', [feature_names[i] for i in top_negative_idx])

逻辑说明：best_lr.coef_ 是每个特征对应的权重，权重越正表示该词的出现越强烈地推动预测结果向好评方向，越负则越推向差评。打印出两端的词，直接就能看到模型学的是不是符合常识。比如“值得”“满意”“推荐”“便宜”被归到正向，“浪费”“失望”“破损”“假货”被归到负向，说明模型学到的情感语义是合理的。

参数说明：get_feature_names_out() 在旧版本 sklearn 里叫 get_feature_names()，如果跑报错就换回旧接口。argsort 得到的是排序索引，取最后 10 个是权重最大的正向词，取前 10 个是权重最小的负向词。这一步不改变模型参数，只做解释验证。如果跑出来发现“没有”被归为强正向词，说明 ngram_range 没有覆盖“没有”后面的词，需要检查分词和特征配置。

5. 情感分析实战避坑：五个最常翻车的环节

5.1 读取 CSV 报 UnicodeDecodeError 或读出乱码

现象：pd.read_csv 直接指定 encoding='utf-8'，报 UnicodeDecodeError，或者读出来之后列名里出现“锟斤拷”这类乱码。

原因：电商平台导出的评论 CSV 很多是 GBK 或 GB2312 编码，且数据里可能混入了个别其他编码的字符。直接猜编码、不验证就读取，必然翻车。

解决：用 chardet 探测文件前几 KB 字节流，拿返回的 encoding 作为 read_csv 的编码参数。如果探测结果是 ascii 且置信度低，就手动尝试 gb18030 和 utf-8-sig 两个候选。utf-8-sig 专门处理带 BOM 的 UTF-8 文件，列名不会出现 \ufeff 前缀。

5.2 jieba 分词后文本变成空串，样本被全部过滤

现象：清洗加分词后，df['clean_comment'] 大量为空，训练集样本数骤减，模型 F1 分数低得离谱。

原因：清洗规则写得太激进，比如把中文字符也过滤掉了，或者评论里原本就只有表情符号。有些评论是“好评”两个字加上一堆表情，分词后“好评”被停用词表移除，表情符号被正则清掉，就什么都没剩。

解决：tokenize 之后加一条保留规则，如果过滤后词数小于 2，就把原文本直接保留下来作为特征，不执行停用词过滤。宁可多一个弱特征，也不能丢样本。判断方法是打印清洗前后样本数对比，如果过滤比例超过 5%，就要检查正则或者停用词表。

5.3 差评样本太少，准确率高但 F1 惨不忍睹

现象：模型测试集准确率 0.92，但 classification_report 里差评的 Recall 只有 0.3，大量差评被预测成了好评。

原因：电商场景好评率天然高于 80%，模型只要全部预测成好评就能拿到很高的准确率，但这显然不可用。没有用 class_weight 或者过采样/欠采样，模型对少数类的特征学习不足。

解决：逻辑回归设 class_weight='balanced'，朴素贝叶斯对差评样本做 SMOTE 过采样后再训练，或者在评估指标上改用 F1 而不是准确率。更简单的方法是数据量允许时对差评样本做随机过采样，重复采样让正负比例接近 3:1，能明显改善差评召回率。

5.4 预测新评论时报“Dimension mismatch”错误

现象：模型训练完，把新评论传给 model.predict 时，报维度不一致的 ValueError。

原因：新评论直接走了一遍 fit_transform，Vectorizer 重新构建了词表和词典，新数据的特征维度和训练时不一致。训练时 TfidfVectorizer 已经 fit 过了，预测阶段只能调 transform，不能再次 fit。

解决：把 Vectorizer 和模型一起保存，预测时对单条文本先分词，再用同一个 vectorizer 的 transform 方法做向量化。注意 transform 之前必须调用 vectorizer 的 tokenizer 或自己先跑 tokenize 函数，保持和训练时同样的预处理顺序，任意一步不一致都会导致预测结果偏差。

5.5 停用词表里误删否定词，把“不错”识别成“错”

现象：测试集里大量“不错”“不贵”“不后悔”被误判为负向情感，模型把“不”当成了停用词擦掉。

原因：有些通用停用词表会包含“不”“没”“无”这类否定词，它们在高频词维度上确实没有信息量，但在情感分析里却是转折和否定的关键信号。删掉之后，模型只能看到“错”“贵”“后悔”这些负向词，结论完全倒挂。

解决：停用词表加载后，手动从集合里 remove 掉 '不', '没', '无', '别', '莫' 这些否定词，再更新集合。同时把 ngram_range 提到 (1,2)，让模型学习“不错”“不好”这种双词组合。如果发现误判样本里大量出现这种情况，回到特征权重分析，看“不”开头的二元组是不是排在正向词前列。

6. 把模型用在新的评论上：模型持久化与单条预测的落地写法

训练好的模型是要拿去处理新数据的，每次重新训练不现实。用 joblib 把模型和向量器一起保存到 tmp 目录，之后新增评论直接加载预测。预测逻辑要封装成一个函数，确保预处理分词组词和向量化顺序和训练时一致。

import joblib joblib.dump(best_lr, 'tmp/model.pkl') joblib.dump(vectorizer, 'tmp/vectorizer.pkl') def predict_sentiment(text: str, model, vectorizer, stopwords) -> dict: clean = tokenize(text, stopwords) if clean == '': return {'label': 'neutral', 'prob': 0.5} vec = vectorizer.transform([clean]) prob = model.predict_proba(vec)[0, 1] label = 'pos' if prob >= 0.5 else 'neg' return {'label': label, 'prob': round(prob, 4)} model = joblib.load('tmp/model.pkl') vec = joblib.load('tmp/vectorizer.pkl') print(predict_sentiment('发货速度快，质量超出预期，值得推荐', model, vec, stopwords)) print(predict_sentiment('用了一周就坏了，客服态度还很差', model, vec, stopwords))

逻辑说明：predict_proba 返回的是每个类别的概率，取索引 1 就是正向概率。阈值默认 0.5，如果业务上更讨厌差评漏判，可以提高到 0.6，降低误判为好评的风险。空文本判断返回 neutral 是一个保护逻辑，防止线上空评论直接打到模型上报错。

参数说明：joblib 保存的.pkl 文件不要跨 Python 小版本使用，2.7 训练出来的模型 3.10 里加载大概率报错。部署到新环境时把 sklearn 和 joblib 版本写到 requirements.txt 里。从那以后我每次跑情感分析，都强制走一遍“训练集 fit → 测试集 transform → 保存模型 → 新数据只 transform”这个流程，新评论预测前再单独抽几条人工看看概率分布是否合理。这一步不花多少时间，但能帮你提前发现线上数据和训练数据分布不一致的问题。希望帮到你。

本文还有配套的精品资源，点击获取