简介：基于贝叶斯算法的垃圾邮件检测完整程序，适合正在学习机器学习、自然语言处理或软件开发的学生与开发者，也可作为文本分类项目初期的参考模板。该程序通过概率统计方式对邮件内容建模，利用已标记样本训练分类器，进而判断新邮件是否为垃圾邮件，能帮助理解朴素贝叶斯方法在真实场景中的工程化步骤。压缩包内共十个文件，包括三份源代码文件、一份工程配置文件、四张用于展示分类效果与概率分布的图片、一份说明文档以及配套忽略文件，整体大小仅一百六十六千字节，轻量完整。目前已有五十一人学习下载，内容覆盖数据预处理、特征提取、模型训练和类别判定等核心环节，并附带可视化图表与工程说明。读者可从中获得可运行的工程骨架，以及从分词、特征权重到概率计算与结果评估的清晰实现思路，便于在此基础上扩展为完整的邮件过滤系统，或用作课程设计与毕业设计参考。
1. 先有垃圾邮件，后有贝叶斯
垃圾邮件检测大概是文本分类里最“古老”也最“能打”的场景之一，而这个项目标题的关键词落在“贝叶斯算法”上。我们真正要处理的问题是：给定一封邮件的正文和标题，判断它属于正常邮件还是垃圾邮件。这里说的贝叶斯，通常指朴素贝叶斯分类器——一个基于条件概率的生成式模型，它假设特征之间相互独立，然后用贝叶斯定理计算后验概率。这个假设在现实中显然不成立，但它在垃圾邮件检测里依然表现稳定，原因是邮件文本的词汇分布具有足够的区分度，即便独立性假设被违反，分类结果的排序依然可靠。这篇文章会把从邮件读取、中文分词、特征表示到训练评估的完整链路拆开讲，适合刚接触文本分类的工程师，也适合想把基线模型做到极致的算法岗同学。使用过程中最大的感受是：贝叶斯不是用来“调参”的，而是用来“理解数据”的。
2. 从贝叶斯定理到邮件分类：先搞懂模型在算什么
2.1 垃圾邮件检测里的条件概率到底怎么读
朴素贝叶斯的出发点非常简单：我们想计算在观察到一封邮件的特征向量 ( x ) 之后，它属于类别 ( c ) 的概率 ( P(c|x) )。贝叶斯定理把这个后验概率拆成了先验概率、似然和证据三项：
[ P(c|x) = \frac{P(c) \cdot P(x|c)}{P(x)} ]
在垃圾邮件检测中，类别 ( c ) 通常只有两个取值：spam和ham。那封邮件的特征向量呢？常见做法是把一封邮件表示成一个词频向量，每个维度对应一个词，值是这个词在邮件中出现的次数。于是公式里的 ( P(x|c) ) 就变成了在所有垃圾邮件中，出现这组词序列的概率。但问题来了：词汇量动辄几万，( P(x|c) ) 是在一个超高维空间里做联合概率估计，直接算是不可能的。
朴素贝叶斯的“朴素”就体现在这里：它假设给定类别后，各个特征之间条件独立。这样一来联合概率就被分解成每个词各自的条件概率的乘积：
[ P(c|x) \propto P(c) \cdot \prod_{i=1}^{n} P(w_i|c) ]
分母 ( P(x) ) 对所有类别都是一样的，在比较 ( P(spam|x) ) 和 ( P(ham|x) ) 时可以直接忽略。所以实际做决策时，只要比较这两者的大小即可。这种分解把“一整段话的概率”变成了“每个词在垃圾邮件里出现的概率相乘”，计算量从指数级降到线性级。
决策规则写成这样：
[ \text{predict}(x) = \arg\max_c , P(c) \prod_{i=1}^{n} P(w_i|c) ]
为了让计算机处理起来更稳定，通常会对等式两边取对数，把连乘变成连加。这样既能防止浮点数下溢，又能把乘法加速为加法。垃圾邮件检测里的贝叶斯，本质上就是做这件事，和你在纸上写朴素贝叶斯公式没有任何区别，关键是后面的工程细节。
2.2 从邮件原文到词向量：先完成中文文本的清洗和分词
邮件文本和普通文档最大的区别在于它有结构：有发件人、收件人、主题、正文，还可能带 HTML 标签、附件名和回复链。直接拿原始文本去分词会很脏，所以第一步是清洗。以 Python 为例，常见的处理流程是这样：
import re import jieba def clean_email(raw_text: str) -> str: # 去掉邮件头和 HTML 标签，只保留正文可见文本 text = re.sub(r'<[^>]+>', '', raw_text) text = re.sub(r'(From|To|Cc|Bcc|Subject):.*', '', text) # 折叠多余的空白字符和换行 text = re.sub(r'\s+', ' ', text) # 去掉非中英文的杂音，保留汉字、英文字母和数字 text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', ' ', text) return text.lower() def tokenize(text: str) -> list[str]: # 使用 jieba 搜索引擎模式，便于召回更多候选词 return [w for w in jieba.cut(text) if w.strip()]这段代码做的事情可以拆成四步：先移除 HTML 标签，因为很多垃圾邮件为了躲过反垃圾系统，会拼接大量隐藏标签；然后剥离邮件头字段，因为Subject里的词和正文里的词在统计意义上应该分开处理，混在一起会稀释特征；接着压缩空白符，避免一个词因为多余空格被切成两半；最后统一小写化，让Viagra和viagra映射到同一个特征。中文场景下，jieba.cut默认的精确模式已经够用，但如果邮件里充满营销短句和品牌词，搜索引擎模式能切出更多有区分度的词。注意，分词之后再按空格join成字符串，是为了下一步直接喂给向量化器。
2.3 贝叶斯在算的时候，什么样的词才会被记住
模型真正记住的是每个词在每个类别下的条件概率 ( P(w_i|c) )。在训练阶段，统计的是词 ( w_i ) 在类别 ( c ) 的所有文档中出现的总次数，除以该类别所有词的总次数。这里有一个容易被忽略的细节：如果一个词只在垃圾邮件中出现过几次，而在正常邮件中从来没出现过，那么 ( P(w_i|ham) ) 会是 0，乘起来直接让整个概率变成 0。这个零概率问题在文本分类里极其常见，因为词汇表里总有大量生僻词、拼错词和随机噪声。
解决办法是平滑。拉普拉斯平滑给每个词都加上一个微不足道的计数，公式变成：
[ P(w_i|c) = \frac{N_{w_i,c} + \alpha}{N_c + \alpha \cdot V} ]
其中 ( N_{w_i,c} ) 是词 ( w_i ) 在类别 ( c ) 下出现的次数，( N_c ) 是类别 ( c ) 的总词数，( V ) 是词汇表大小，( \alpha ) 是平滑系数，通常取 1。加了平滑之后，模型对所有未登录词一视同仁，不会因为一个低频词的出现而彻底反转判定结果。这个细节在 scikit-learn 的MultinomialNB里由alpha参数直接控制，默认是 1.0，绝大多数场景不用改。
3. 特征表示与模型选型：垃圾邮件场景里的三个关键选择
3.1 为什么用词频向量而不是 TF-IDF
先别急着上TfidfVectorizer。垃圾邮件检测和新闻分类不太一样，垃圾邮件里大量重复的词往往本身就带有强信号，比如“免费”“点击”“领取”“限时”。TF-IDF 会把那些在文档中频繁出现但在整个语料中稀有的词权重放大，这在长文档模型里是合理的，但在短邮件上会带来副作用：一封只有 30 个词的邮件，经过 IDF 缩放后，高频特征被过度惩罚，模型反而更关注那些只出现过一次的长尾词，这些词通常没有泛化能力。
我在做这个项目时选择的特征是原始词频向量：
from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer( max_features=8000, # 只保留词频最高的 8000 个词 ngram_range=(1, 2), # 加入二元词组，捕获“免费+领取”这种组合 min_df=2, # 至少在 2 封邮件中出现，过滤单文档噪声 max_df=0.8 # 在 80% 以上的邮件中出现，视为停用词 ) X_counts = vectorizer.fit_transform(tokenized_corpus)max_features控制词汇表大小，一般取 5000 到 10000 之间，太小会丢失低频重要词，太大会让矩阵稀疏到失去统计意义。min_df=2的作用是去掉只在单封邮件里出现过一次的 token，这类词对条件概率的估计毫无帮助，只会放大噪声。max_df=0.8用来过滤那些在绝大多数邮件里都出现的词，这些词和是否垃圾无关，例如“邮件”“内容”“公司”，它们在两个类别里的条件概率几乎没有差异，留着只会干扰概率乘积的排序。
那为什么不用 TF-IDF？因为朴素贝叶斯本身是用计数来估计概率的，词频是概率的充分统计量，IDF 变换会破坏这种统计基础。MultinomialNB期望的输入是“非负的计数”，虽然它能接受 TF-IDF 生成的浮点特征，但分类器内部假设特征服从多项式分布，TF-IDF 的连续值会让概率估计偏离真实分布。如果你非要用 TF-IDF，请选择高斯朴素贝叶斯，而不是多项式版本。
3.2 高斯、伯努利还是多项式：垃圾邮件到底该选谁
朴素贝叶斯家族里最常用的有三个版本，它们在 sklearn 里分别是GaussianNB、BernoulliNB和MultinomialNB。很多初学者在这里犯的第一个错误是：拿到文本特征直接丢进GaussianNB，因为这是入门书里最常见的模型。但GaussianNB假设特征是连续值且服从正态分布，词频向量是稀疏的非负整数，根本不满足这个分布假设，所以实际效果通常很差，尤其在词汇表很大的时候。
BernoulliNB适用于二元特征，也就是每个词只有“出现”和“没出现”两种状态。对短邮件来说，这其实是合理的，因为一封 30 个词的邮件重复出现同一个词三次，和只出现一次相比，语义强度差异没那么大。如果你关注的是“这个主题词有没有出现”，可以选它。不过在实践中，MultinomialNB对词频的建模往往更稳，因为它既考虑出现次数又能区分高频词和低频词的重要性。
我在这条链路里的选择是MultinomialNB，理由有三个：第一，垃圾邮件中的营销词通常高频重复，次数本身是信号；第二，多项式朴素贝叶斯是贝叶斯文本分类里数学形式最贴近原始推导的；第三，它的超参数只有一个平滑系数 ( \alpha )，调优成本最低。识别到分类性能不佳时，可以先试BernoulliNB对比一下，两者差别通常小于 1 个百分点，但MultinomialNB对类别不均衡更鲁棒。
3.3 中文邮件的特征扩展：bigram 能带来多少个新特征
中文和英文的最大区别在于没有天然空格，分词的好坏直接决定特征质量。单纯用 unigram 的话，词表里是“免费”“领取”“点击”“链接”这些离散词，它们之间没有序关系。“免费领取”如果被切成两个 unigram，分类器只能学到“免费”和“领取”各自的条件概率，而 bigram 可以学到这两个词连续出现时更强的组合信号。ngram_range=(1, 2)意味着特征空间同时包含单个词和相邻双词，词汇表会从 8000 膨胀到 2 万到 3 万，但max_features=8000会把最频繁的组合保留下来，稀疏度可控。
这里想提醒一个容易被忽略的细节：bigram 的独立性假设比 unigram 更不合理，因为“免费领取”和“领取”在语义上高度相关，这违反了朴素贝叶斯的独立性前提。实际效果中，bigram 依然能提升几个百分点的召回率，原因是组合词在垃圾邮件中出现的置信度更高，但代价是解释性变差。如果你需要向业务方解释“这封邮件为什么被判为垃圾邮件”，unigram 还是更好的选择，因为每个词的概率都是独立可展示的。
4. 训练与评估：用十折交叉验证找参数，靠混淆矩阵看边界
4.1 从文件目录到训练集：数据集应该怎么组织
邮件数据集的常见组织形式是目录结构，spam和ham两个文件夹分别存放样本。读取的时候按文件夹打标签，然后用train_test_split划分训练集和测试集。这里有一个关键点：强调按邮件时间顺序划分，不要随机打乱。
为什么？因为垃圾邮件有演化性，几个月前的“中奖”话术和现在的“加密货币”话术完全不同。如果随机打乱，训练集和测试集里会混杂同一时期的邮件，模型会过高估计自己的泛化能力。正确做法是按时间排序，取前 80% 做训练，后 20% 做测试：
import os from sklearn.model_selection import train_test_split def load_corpus(base_dir: str, label: str): samples = [] folder = os.path.join(base_dir, label) for fname in sorted(os.listdir(folder)): # 按文件名排序近似时间顺序 with open(os.path.join(folder, fname), 'r', encoding='utf-8', errors='ignore') as f: samples.append(f.read()) return samples spam_list = load_corpus('data/', 'spam') ham_list = load_corpus('data/', 'ham') X = spam_list + ham_list y = [1] * len(spam_list) + [0] * len(ham_list) # 按时间顺序划分，不 shuffle X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, shuffle=False )shuffle=False的前提是样本列表本身已经按时间排序。如果你的数据没有时间戳，文件名本身就是一个弱时间信号，字母顺序在大部分采集场景下接近索引顺序。这个划分方式和交叉验证结合时要注意：先划分，后向量化，避免信息泄露。
4.2 训练主流程：管道怎么组装才不会被坑
组装训练流程时，推荐的模式是把向量化和分类器绑成一个Pipeline，这样可以避免测试集被fit_transform而不是transform的经典错误。管道的好处在于交叉验证时能保证每次只对训练折拟合词汇表，防止验证折的信息泄漏到模型中：
from sklearn.pipeline import Pipeline from sklearn.naive_bayes import MultinomialNB pipeline = Pipeline([ ('vect', CountVectorizer( max_features=8000, ngram_range=(1, 2), min_df=2, max_df=0.8 )), ('clf', MultinomialNB(alpha=1.0)), ]) # 第一次运行前，先在训练集上 fit 一次，别急着调参 pipeline.fit(X_train, y_train) train_acc = pipeline.score(X_train, y_train) test_acc = pipeline.score(X_test, y_test) print(f'train acc: {train_acc:.4f}, test acc: {test_acc:.4f}')跑完这一步，你会看到一个典型现象：训练准确率远高于测试准确率。这不是过拟合，而是Pipeline里的向量化器在训练集上看到过更多词，测试集里的未见词在MultinomialNB里会被平滑系数兜底，但兜底概率对每个词一样，所以测试集上稍微吃亏。如果你的测试准确率和训练准确率差距超过 5 个百分点，原因八成是训练集太小，而不是模型复杂度太高。
4.3 用十折交叉验证调平滑系数：alpha到底该取多少
MultinomialNB的超参数只有alpha，但很多人忽略了一个事实：alpha不是越大越好，也不是越小越好。alpha过小会放大零概率问题的副作用，过小会让平滑变成主导，模型退化为基于先验概率的投票。
网格搜索配合十折交叉验证是一种可靠的做法：
from sklearn.model_selection import GridSearchCV param_grid = { 'clf__alpha': [0.001, 0.01, 0.1, 0.5, 1.0, 2.0, 5.0], } grid = GridSearchCV( pipeline, param_grid=param_grid, cv=10, scoring='f1', n_jobs=-1, verbose=1 ) grid.fit(X_train, y_train) print(f'best alpha: {grid.best_params_}') print(f'best CV F1: {grid.best_score_:.4f}')用scoring='f1'而不是accuracy，原因在垃圾邮件场景里尤其重要：通常垃圾邮件比正常邮件少，如果直接看准确率，把所有邮件都判为ham也能拿到 80% 以上的分数，这显然没有意义。F1 是精确率和召回率的调和平均，能同时惩罚“漏判”和“误杀”。cv=10表示十折交叉验证，每一折的性能都会被平均，比固定划分更能反映模型在不同数据分布下的稳定性。实际项目中，alpha的最优值通常在 0.1 到 1.0 之间，如果你的语料量超过 10 万封，alpha取 0.01 反而更好，因为数据量足够大时，零概率问题自然被大量的频次统计覆盖了。
4.4 混淆矩阵和误判案例分析：贝叶斯在哪里失手
训练完模型后，不要只盯着准确率。对于垃圾邮件检测，真正有价值的是混淆矩阵和误判案例：
from sklearn.metrics import confusion_matrix, classification_report y_pred = grid.predict(X_test) cm = confusion_matrix(y_test, y_pred) print(cm) # 找出误判样本，逐条查看 misclassified = [] for i, (true_label, pred_label) in enumerate(zip(y_test, y_pred)): if true_label != pred_label: misclassified.append((i, true_label, pred_label)) for idx, true_l, pred_l in misclassified[:10]: print(f'index={idx}, true={true_l}, pred={pred_l}, text={X_test[idx][:100]}')误判样本的价值在于暴露数据预处理的问题。我见过最多的三类误判原因：第一，正常邮件里含有大量订单号、验证码等随机字符串，这些字符串在分词后被切成单字或数字，被模型当成噪声特征，导致后验概率被拉向垃圾邮件；第二，垃圾邮件伪装成“发票”“对账单”主题，正文大量使用正规商务措辞，词级别特征完全没有区分度；第三，中文里“免费”和“免费领”被分词器切成同一个词根时，单词的计数混合了不同场景，让条件概率估计变得模糊。排查误判案例后，经常要回头修改清洗规则，而不是增加模型复杂度。
5. 部署中的阈值调整与增量更新技巧
模型训练完不是终点，真正上线后你会遇到两个和离线训练不一样的问题：垃圾邮件比例变化和垃圾邮件话术演化。前者要求调整分类阈值，后者要求模型持续更新。
朴素贝叶斯给出的不是二分类标签，而是两个后验概率的比值。MultinomialNB通过predict_proba可以输出概率，默认按 0.5 作为阈值，但实际生产环境中，常把阈值调低或调高来权衡误杀率和漏判率：
import numpy as np proba = grid.predict_proba(X_test)[:, 1] def adjust_threshold(proba, threshold): return (proba >= threshold).astype(int) # 偏向“少误伤正常邮件”，阈值提高到 0.7 y_pred_conservative = adjust_threshold(proba, 0.7) # 偏向“多拦截垃圾邮件”，阈值降低到 0.3 y_pred_aggressive = adjust_threshold(proba, 0.3)阈值调整的决策依据是业务成本矩阵：一封正常邮件被误判为垃圾邮件的代价，通常远高于一封垃圾邮件漏判的代价，所以一般会把阈值往上抬。另一个更常见的做法是结合人工标注的校验集来寻找最优阈值，让 F1 或 F-beta 最大化。
关于增量更新，贝叶斯分类器有一个独特优势：它的参数是一组频次统计量，所以“继续训练”只需要把新样本的词频追加到已有的计数上，不需要重新加载全部历史数据。代码上可以这样实现：
def update_model(pipeline, new_texts, new_labels): # 取出管道中的向量化器和分类器 vect = pipeline.named_steps['vect'] clf = pipeline.named_steps['clf'] # 把新文本转成特征矩阵，对应类别的计数直接累加 X_new = vect.transform(new_texts) # 对每个类别，统计词频并累加到 clf.feature_count_ for label in np.unique(new_labels): mask = (new_labels == label) clf.feature_count_[label] += np.asarray(X_new[mask].sum(axis=0)).ravel() # 重新计算平滑后的概率 clf._update_feature_prob()这样做的代价是把新增样本的特征矩阵叠加到feature_count_上，成本是 ( O(新样本词数) ) 而不是 ( O(全量历史样本重训) )，在大规模邮件系统里能节省大量算力。但要注意，增量更新只适用于词表没有变化的情况：如果新邮件带来了大量未登录词，你需要先在vect.vocabulary_里扩展词表，并对应扩展feature_count_的列数，否则特征维度不匹配，概率更新会出错。具体做法是把新词合并进vectorizer.vocabulary_，然后在feature_count_后面填充零列。超过 5000 封新样本后，还是重训一次更稳妥。
如果你把贝叶斯当作基线，用它在业务数据上摸清文本分布和误判类型之后，再去尝试深度学习模型，会发现贝叶斯给出的错误样例恰好是标注数据的金矿。现在这个项目最值得做的事，不是换一个更复杂的模型，而是把误判样本找出来，看看哪些类别是你当前特征完全没覆盖的，再决定要不要加特征、加规则，或者增加训练数据的多样性。
本文还有配套的精品资源，点击获取
