Python实现图片贝叶斯分类器：从特征提取到决策边界

简介：本资源是面向模式识别课程学习者与机器学习入门者的Python贝叶斯图像分类完整项目，对应课程大作业场景，帮助读者理解贝叶斯定理在图像分类中的落地方式。项目同时提供控制台与GUI两种交互形式，用户可输入图片路径或通过文件浏览器选图，并在图像上点击选取分类基准点，覆盖图像预处理、特征提取、模型训练与分类预测的完整流程。压缩包共17个文件，约1.79MB，以3个py源码文件为核心，辅以txt依赖说明、csv特征数据、json配置、spec打包脚本及md说明文档，另含图标与示例图片，目录结构清晰便于按模块阅读。目前已有994人学习下载，适合作为课程设计参考或自学范例。读者可从中获得高斯贝叶斯分类器的训练与预测实现思路、控制台与GUI双版本代码组织方式，以及特征提取与用户交互的工程化写法，对掌握模式识别基础方法具有实践价值。

1. 从一张 32×32 的灰度图说起：贝叶斯分类器到底在算什么

模式识别大作业里最容易被低估的一题，就是「基于 Python 实现图片的贝叶斯分类器分类」。很多人第一反应是调个sklearn.naive_bayes三行跑完交差，结果答辩被问「你的似然是怎么估的、先验从哪来、为什么用高斯不用多项式」直接卡壳。这篇笔记就按一线做法把这条链路走一遍：从图片怎么变成特征向量，到贝叶斯决策规则怎么落地，再到参数怎么调、坑在哪。适合正在做模式识别大作业的本科生、刚入门 Python 想找个完整项目练手的同学，也适合想把贝叶斯从公式变成可运行代码的从业者。核心词就三个：Python、贝叶斯分类器、图片分类，后面每一章都围绕它们展开，不跑偏。

2. 图片分类任务里，贝叶斯分类器的三种常见形态与选型理由

2.1 先分清：朴素贝叶斯、高斯贝叶斯、贝叶斯决策面不是一回事

标题写的是「贝叶斯分类器」，但这个词在模式识别课里其实覆盖了三层含义，选错了后面全乱。

第一层是贝叶斯决策理论，也就是最小错误率/最小风险准则，核心是后验概率 $P(\omega_i|x) = \frac{p(x|\omega_i)P(\omega_i)}{p(x)}$，判类别时取后验最大的那一类。这是理论骨架，任何贝叶斯分类器都是它的实现。

第二层是朴素贝叶斯（Naive Bayes），它假设各维特征在给定类别下条件独立，于是 $p(x|\omega_i)$ 拆成各维乘积。这个假设在图片像素上几乎必然不成立（相邻像素强相关），但工程上依然能用，因为分类只看相对大小，独立性假设被违反时往往只是概率估计不准，判决边界还能凑合。

第三层是高斯贝叶斯（Gaussian NB），它进一步假设每一维在每类下服从正态分布，用均值和方差两个参数就能描述似然。对灰度图这种连续取值特征，高斯假设比多项式/伯努利假设自然得多。

我一般会这样选：如果特征是手工提取的（HOG、LBP、颜色直方图），用高斯贝叶斯；如果特征是词袋式的离散计数（比如把图片切成视觉词），用多项式贝叶斯；如果只是交作业想快速跑通，高斯贝叶斯 + PCA 降维是最稳的组合。模式识别课上老师最想看到的其实是第一层——你有没有真的按贝叶斯公式去算，而不是调包。

2.2 图片怎么变成贝叶斯能吃的特征向量

贝叶斯分类器不认图片，只认向量。这一步是整条链路里最容易被糊弄、也最影响精度的地方。常见做法有三条：

• 原始像素展平：把 32×32 灰度图拉成 1024 维向量。简单，但维度高、像素间强相关，朴素贝叶斯的独立性假设被踩得最狠。
• 降维后特征：先 PCA 降到 30～80 维，再喂给高斯贝叶斯。这是我最推荐的作业方案，既体现「特征提取」这一模式识别核心步骤，又能把精度拉上来。
• 手工特征：HOG、LBP、颜色直方图。适合彩色图或纹理明显的任务，但代码量大，作业里不一定划算。

下面这段是把图片目录读成特征矩阵和标签的标准写法，用sklearn的load_files或自己遍历都行，我这里用自己遍历，方便你控制路径：

import os import numpy as np from PIL import Image def load_images(root_dir, img_size=(32, 32)): """遍历 root_dir 下每个子文件夹（一个子文件夹=一个类别）， 把图片统一缩放到 img_size 并展平成向量。""" X, y, class_names = [], [], [] for label, cls in enumerate(sorted(os.listdir(root_dir))): cls_dir = os.path.join(root_dir, cls) if not os.path.isdir(cls_dir): continue class_names.append(cls) for fname in os.listdir(cls_dir): if not fname.lower().endswith(('.png', '.jpg', '.jpeg', '.bmp')): continue img = Image.open(os.path.join(cls_dir, fname)).convert('L') # 转灰度 img = img.resize(img_size) # 统一尺寸 X.append(np.asarray(img, dtype=np.float32).ravel() / 255.0) # 归一化到 [0,1] y.append(label) return np.array(X), np.array(y), class_names X, y, class_names = load_images('data/train') print(X.shape, y.shape, class_names)

逻辑说明：convert('L')保证所有图都是单通道灰度，避免彩色图三通道展平后维度对不上；resize是必须的，因为贝叶斯要求每个样本特征维度一致；除以 255 归一化是为了让高斯分布的方差量级可控，否则像素值 0～255 会让方差估计偏大、数值不稳定。

参数说明：img_size是第一个要调的参数。32×32 适合 MNIST 这类简单数据，64×64 适合稍复杂的纹理，再大就要先降维，否则 4096 维直接喂高斯贝叶斯，协方差矩阵估计会非常飘。root_dir的目录结构必须是「一个类别一个文件夹」，这是最省事的组织方式，也是模式识别作业里最通用的约定。

2.3 训练/测试划分与先验估计：别让类别不平衡骗了你

贝叶斯分类器的先验 $P(\omega_i)$ 通常直接用训练集里各类别占比估计。这一步看着简单，但类别不平衡时会出问题：如果 A 类有 900 张、B 类只有 100 张，先验就是 0.9 和 0.1，分类器会强烈偏向 A。作业数据集一般比较均衡，但你自己爬的图或者网上下的数据集经常不均衡。

常见做法是分层抽样，保证训练/测试里类别比例一致：

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42, stratify=y # stratify 保证分层 ) print(np.bincount(y_train), np.bincount(y_test))

stratify=y是关键参数，不加的话小类别可能全被分到测试集，训练时先验直接变 0，预测时那一类永远出不来。random_state固定住，方便复现，答辩时老师让你再跑一遍结果一致，印象分就上来了。

如果确实遇到不平衡数据，可以在GaussianNB里手动传priors参数，把先验设成均匀分布，或者按业务需要加权。这一步在作业里不常要求，但你要知道有这条路。

3. 用 Python 把高斯贝叶斯分类器跑通：从 PCA 降维到混淆矩阵

3.1 为什么先 PCA 再贝叶斯：维度灾难与协方差估计

原始 1024 维直接喂高斯贝叶斯，问题出在协方差矩阵。高斯贝叶斯的似然是 $p(x|\omega_i) = \frac{1}{(2\pi)^{d/2}|\Sigma_i|^{1/2}} \exp\left(-\frac{1}{2}(x-\mu_i)^T\Sigma_i^{-1}(x-\mu_i)\right)$，其中 $\Sigma_i$ 是 $d \times d$ 协方差矩阵。当 $d=1024$ 时，$\Sigma_i$ 有约 52 万个自由参数，而每类样本可能只有几百张，根本估不准，矩阵还可能奇异求不了逆。这就是典型的维度灾难。

PCA 降维把 $d$ 压到 30～80，协方差矩阵参数降到千级，和样本量匹配，估计才靠谱。而且 PCA 去掉了像素间的大部分线性相关，某种程度上缓解了朴素贝叶斯的独立性假设被违反的问题——虽然不能完全消除，但工程上够用。

from sklearn.decomposition import PCA from sklearn.naive_bayes import GaussianNB from sklearn.metrics import accuracy_score, confusion_matrix, classification_report # 1) PCA 降维：先在高维上拟合，再变换训练/测试集 pca = PCA(n_components=50, whiten=True) # whiten 让各主成分方差为 1 X_train_pca = pca.fit_transform(X_train) X_test_pca = pca.transform(X_test) # 注意：测试集只能用训练集的变换 # 2) 高斯贝叶斯训练 gnb = GaussianNB() gnb.fit(X_train_pca, y_train) # 3) 预测与评估 y_pred = gnb.predict(X_test_pca) print('accuracy:', accuracy_score(y_test, y_pred)) print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred, target_names=class_names))

逻辑说明：fit_transform只在训练集上调用，测试集必须用同一个pca对象transform，否则就是数据泄露，精度虚高，答辩被问到就露馅。whiten=True让各主成分方差归一，对高斯贝叶斯友好，因为高斯假设各维方差可比。

参数说明：n_components是核心参数。太小（比如 10）会丢信息，太大（比如 200）协方差又估不准。经验做法是看 PCA 的累计解释方差比，选到 90%～95% 对应的维度：

pca_full = PCA().fit(X_train) cum_var = np.cumsum(pca_full.explained_variance_ratio_) n_90 = np.searchsorted(cum_var, 0.90) + 1 print('保留90%方差需要的主成分数:', n_90)

这个数字直接告诉你n_components该设多少，比拍脑袋靠谱。MNIST 这类数据通常 50～80 维就能到 90%，人脸数据可能要 100 以上。

3.2 混淆矩阵怎么读：哪一类总被认错，为什么

confusion_matrix输出的矩阵，第 $i$ 行第 $j$ 列表示真实类别 $i$ 被预测成类别 $j$ 的样本数。对角线是正确分类，非对角线是错误。作业里光报一个 accuracy 是不够的，老师要看你能不能分析错在哪。

我一般会做两件事：一是把混淆矩阵归一化，看每类的召回率；二是挑出错得最多的那一对类别，回去看它们的图片是不是本身就长得像。

import matplotlib.pyplot as plt import seaborn as sns cm = confusion_matrix(y_test, y_pred) cm_norm = cm.astype('float') / cm.sum(axis=1, keepdims=True) # 按行归一化=召回率 plt.figure(figsize=(8, 6)) sns.heatmap(cm_norm, annot=True, fmt='.2f', cmap='Blues', xticklabels=class_names, yticklabels=class_names) plt.xlabel('Predicted'); plt.ylabel('True') plt.title('Normalized Confusion Matrix') plt.tight_layout(); plt.savefig('cm.png', dpi=150)

归一化后每行加起来是 1，对角线就是该类召回率。如果某两类互相错得厉害（比如 4 和 9、3 和 8），说明它们的像素分布本来就重叠，高斯假设下似然接近，分类器分不开。这时候要么加特征（HOG 对形状敏感），要么换更强的模型，但作业里通常解释清楚原因就够了。

3.3 交叉验证：单次划分的精度不可信

train_test_split只切一次，精度受随机种子影响很大，可能这次 85%、换个种子 80%。作业里想显得严谨，用 K 折交叉验证：

from sklearn.model_selection import cross_val_score from sklearn.pipeline import Pipeline # 把 PCA 和 NB 串成 pipeline，避免每次手动变换导致的数据泄露 pipe = Pipeline([ ('pca', PCA(n_components=50, whiten=True)), ('gnb', GaussianNB()) ]) scores = cross_val_score(pipe, X, y, cv=5, scoring='accuracy') print('5折精度:', scores.mean(), '±', scores.std())

逻辑说明：用Pipeline把降维和分类绑在一起，交叉验证时每一折内部先fitPCA 再transform，测试折不会被训练折的 PCA 污染。这是很多人手写代码时踩的坑——先对全量数据做 PCA 再交叉验证，精度会虚高几个点。

参数说明：cv=5是常用折数，数据少可以设 10，数据多设 3 也行。scoring除了 accuracy，类别不平衡时可以用f1_macro。输出的mean ± std一起报，标准差大说明模型对数据划分敏感，稳定性差。

4. 避坑与排查：贝叶斯图片分类最容易翻车的五个地方

4.1 现象：精度只有 10%，和随机猜差不多

原因：最常见的是标签和特征没对齐。比如load_images里X.append和y.append顺序错位，或者用了os.listdir但没排序，训练和测试时类别顺序不一致，导致标签映射错乱。

解决：os.listdir一定要sorted()，保证每次遍历顺序一致；加载完打印X.shape、y.shape和np.bincount(y)核对样本数；训练前用train_test_split的stratify再确认一次分布。如果精度还是 10% 左右，检查是不是把X_test喂成了X_train，或者 PCA 变换时用了fit_transform而不是transform。

4.2 现象：训练精度 99%，测试精度 60%，差距巨大

原因：过拟合，或者数据泄露。高斯贝叶斯本身参数少，过拟合不严重，所以更可能是泄露——比如先对全量数据做了 PCA 或归一化，再划分训练测试。归一化的均值和方差如果是从全量算的，测试集信息就漏进训练了。

解决：所有预处理（归一化、PCA、特征选择）都必须在训练集上fit，再transform测试集。用Pipeline是最省心的办法，它自动保证这个顺序。另外检查n_components是不是设得太大，降维不够等于没降。

4.3 现象：报错LinAlgError: singular matrix

原因：高斯贝叶斯在计算协方差矩阵逆的时候，矩阵奇异。通常是某一维在所有样本上取值相同（方差为 0），或者维度远大于样本数。

解决：先降维，把n_components压到远小于样本数；检查特征里有没有常量列，有就删掉；GaussianNB有个var_smoothing参数，默认 1e-9，可以调大到 1e-6 或 1e-5，给方差加一点平滑，避免为 0：

gnb = GaussianNB(var_smoothing=1e-6)

这个参数本质是给每维方差加一个正数，保证协方差矩阵可逆。调太大精度会掉，一般 1e-9 到 1e-6 之间试。

4.4 现象：某一类永远预测不出来

原因：类别不平衡导致先验太小，或者那一类的特征分布被其他类覆盖。比如 A 类 900 张、B 类 100 张，先验 0.9 vs 0.1，B 类的后验很难超过 A。

解决：先看np.bincount(y)确认分布；不平衡时手动设priors为均匀分布，或者对少数类过采样；如果两类特征本身重叠，贝叶斯无能为力，得换特征或换模型。作业里如果数据均衡还出现这问题，多半是标签编码错了，检查class_names和label的对应关系。

4.5 现象：换个随机种子精度波动 10 个点

原因：数据量太小，单次划分的测试集不具代表性。几百张图切 30% 做测试，测试集就一两百张，随机性极大。

解决：用 K 折交叉验证报mean ± std，而不是单次划分；数据量实在小就做留一法（cv=n），虽然慢但稳定；报告结果时把标准差一起写，别只报最好的那次。答辩时老师问「你这个精度稳定吗」，你能拿出交叉验证结果就稳了。

5. 把贝叶斯分类器做出「模式识别味」：三个进阶技巧与验证习惯

作业想拿高分，光跑通不够，得让老师看到你懂模式识别的套路。第一个技巧是画决策边界。把 PCA 降到 2 维，在平面上画出贝叶斯的决策区域，和散点图叠在一起，一眼就能看出分类器把空间切成了什么样。二维高斯贝叶斯的决策面是二次曲线，画出来能直观解释「为什么这两类分不开」。

# 降到2维可视化决策边界 pca2 = PCA(n_components=2) X2 = pca2.fit_transform(X) gnb2 = GaussianNB().fit(X2, y) xx, yy = np.meshgrid(np.linspace(X2[:,0].min()-1, X2[:,0].max()+1, 200), np.linspace(X2[:,1].min()-1, X2[:,1].max()+1, 200)) Z = gnb2.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape) plt.contourf(xx, yy, Z, alpha=0.3, cmap='tab10') plt.scatter(X2[:,0], X2[:,1], c=y, cmap='tab10', edgecolor='k', s=20) plt.title('Gaussian NB Decision Boundary (PCA 2D)') plt.savefig('boundary.png', dpi=150)

第二个技巧是对比实验。同一份数据，分别用「原始像素 + 高斯NB」「PCA + 高斯NB」「PCA + 多项式NB」跑一遍，列个表：

具体数字因数据集而异，但趋势一般是 PCA 后高斯 NB 最好。这张表往报告里一放，「特征提取对贝叶斯分类的影响」这个结论就立住了，比空谈理论强得多。

第三个技巧是验证似然估计是否合理。挑一维特征，把每类的直方图和拟合的高斯曲线画在一起，看高斯假设成不成立。如果某类明显双峰，高斯就拟不好，这时候可以考虑混合高斯或者换特征。这个检查很多人不做，但它是「贝叶斯分类器」区别于「随便调个包」的关键——你真的在验证概率模型，而不是把分类器当黑匣子。

我自己的习惯是：任何贝叶斯相关的作业，先画似然分布，再画决策边界，最后报交叉验证。这三张图一出来，老师基本不会追问「你是不是调包了」。血泪经验是别等到答辩前一晚才发现 PCA 用错了transform，那时候改代码加重跑，后悔药没处买。把预处理顺序在第一次写代码时就理清楚，后面省一半时间。希望帮到你。

本文还有配套的精品资源，点击获取