无需计算p(x)的贝叶斯分类器：从生成式到判别式的统一视角

1. 从“没有 p(x)”说起：贝叶斯分类器到底在算什么

很多人第一次学贝叶斯分类器，脑子里都会被一个公式钉死：后验概率正比于似然乘以先验，也就是 (p(y|x) \propto p(x|y)p(y))。然后紧接着教材就会告诉你，分母 (p(x)) 是对所有类别求和或积分得到的证据因子，用来做归一化。于是问题来了：如果 (p(x)) 根本算不出来、或者算起来代价高得离谱，这个分类器还能不能做？

答案是可以，而且在实际工程里我们经常这么干。核心原因在于分类任务的本质是“比较”，不是“求绝对概率”。对于一个输入样本 (x)，我们只需要知道哪个类别的后验概率最大，而不需要知道这个最大后验概率具体等于多少。既然 (p(x)) 对所有类别都是同一个常数，它在比较过程中会被约掉。这就是“finding bayes classifier without p(x)”最朴素也最关键的出发点。

我先把结论摆在这里：贝叶斯分类器可以完全绕开 (p(x)) 的显式计算，只要你能对每个类别给出一个可比较的判别分数。这个分数可以是似然乘先验，可以是似然比，可以是取对数后的线性判别式，甚至可以是任意单调变换后的量。真正决定分类边界的，是不同类别之间判别分数的相对大小，而不是它们的绝对数值。

这件事听起来简单，但它背后牵扯出一整套从生成式建模到判别式建模的思路转变。很多人学贝叶斯分类器时被 (p(x)) 卡住，是因为默认了“必须先把概率密度建出来”。可实际上，高斯判别分析、朴素贝叶斯、逻辑回归、甚至线性分类器，都可以从这个“去掉 (p(x))”的视角统一理解。下面我会把这条线索完整拆开，从数学原理到代码实现，再到踩坑经验，一层层讲清楚。

适合读这篇内容的人有三类：一是正在学模式识别、机器学习基础，被贝叶斯公式绕晕的学生；二是做工程落地，发现概率密度估计不稳定、想找更稳方案的同学；三是想真正理解“为什么逻辑回归和贝叶斯有关系”的从业者。不管你是哪一类，只要跟着把判别分数这条主线走一遍，很多之前割裂的知识点会突然连起来。

2. 为什么 p(x) 可以不要：判别分数的数学逻辑

2.1 从后验比较到判别函数

贝叶斯决策规则写出来是这样的：给定样本 (x)，选择使后验概率最大的类别。

[ \hat{y} = \arg\max_{y} p(y|x) ]

用贝叶斯公式展开：

[ p(y|x) = \frac{p(x|y)p(y)}{p(x)} ]

其中 (p(x) = \sum_{y} p(x|y)p(y))（离散情况）或积分（连续情况）。注意这里的关键点：(p(x)) 与类别 (y) 无关。对于固定的输入 (x)，它就是一个常数。既然 (\arg\max) 只关心哪个 (y) 让表达式最大，那么除以一个正数常数不改变结果。

所以：

[ \hat{y} = \arg\max_{y} p(x|y)p(y) ]

这一步就是“去掉 (p(x))”的全部数学依据。你可以定义一个判别函数 (g_y(x) = p(x|y)p(y))，然后比较各个类别的 (g_y(x)) 大小即可。(p(x)) 从头到尾没有出现在决策里。

我见过不少人在这里犯迷糊，觉得“没有 (p(x)) 那概率不就不归一了吗”。对，就是不归一。但分类器不需要归一化的概率，它需要的是排序。归一化只在你想输出“置信度”或者做阈值决策、代价敏感决策时才需要。纯粹的类别判定，排序就够了。

2.2 取对数：把乘法变成加法

实际计算时，(p(x|y)p(y)) 这种连乘形式很容易下溢，尤其是特征维度高的时候。每个概率都小于 1，几十个特征乘起来直接变成 0。所以工程上几乎都会取对数：

[ \log g_y(x) = \log p(x|y) + \log p(y) ]

对数函数是单调递增的，所以 (\arg\max) 的结果不变。这一步不仅解决了数值下溢，还把乘法结构变成了加法结构，后面推导高斯判别分析时会非常方便。

提示：取对数后得到的是“对数判别分数”，它不再是概率，但类别之间的相对大小关系完全保留。不要把它当概率去解释。

2.3 判别式视角：直接建模类别边界

上面走的是生成式路线：先建 (p(x|y)) 和 (p(y))，再比较。还有一条路是判别式路线：直接建模 (p(y|x)) 或者直接建模判别函数 (g_y(x))，完全不碰 (p(x))。

逻辑回归就是典型例子。二分类下它建模的是：

[ p(y=1|x) = \sigma(w^T x + b) ]

这里根本没有出现 (p(x))，也没有出现 (p(x|y))。它直接参数化后验概率。你可能会问，这跟贝叶斯有什么关系？关系在于，当 (p(x|y)) 取高斯分布且协方差相同时，生成式推导出来的后验正好是逻辑回归的形式。也就是说，逻辑回归可以看作“在高斯假设下，绕开 (p(x)) 后的贝叶斯分类器”。

这条线索很重要，它说明“without p(x)”不只是一个计算技巧，而是连接生成式和判别式模型的桥梁。理解了这一点，你再看线性判别分析、朴素贝叶斯、逻辑回归，就不会觉得它们是三套互不相干的东西。

2.4 一个容易忽略的前提

去掉 (p(x)) 有一个隐含前提：所有类别共享同一个输入空间，且 (p(x)) 对每个类别是同一个值。这在标准分类设定下成立。但如果你的问题变成“异常检测”或者“开集识别”，情况就不一样了。异常检测里你往往只有一个类别的数据，没有“其他类别”的概念，这时候 (p(x)) 本身反而成了核心，因为你要判断的是“这个样本像不像正常数据”。

所以“without p(x)”适用于闭集分类：类别集合固定，每个测试样本一定属于某个已知类别。这个边界要清楚，不然容易把方法用错地方。

3. 高斯判别分析：一个完整的无 p(x) 推导实例

3.1 假设与建模

高斯判别分析（GDA）是展示“without p(x)”最干净的案例。假设每个类别的条件分布是多元高斯：

[ p(x|y=c) = \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x-\mu_c)^T\Sigma^{-1}(x-\mu_c)\right) ]

先验是 (p(y=c)=\pi_c)。注意这里我假设所有类别共享同一个协方差矩阵 (\Sigma)，这是 GDA 的常见简化版本，也是它产生线性边界的原因。

判别分数取对数：

[ \log g_c(x) = -\frac{1}{2}(x-\mu_c)^T\Sigma^{-1}(x-\mu_c) + \log \pi_c + \text{常数} ]

那个“常数”包含了 (-\frac{d}{2}\log(2\pi) - \frac{1}{2}\log|\Sigma|)，它对所有类别都一样，可以直接扔掉。这就是又一次“去掉与类别无关项”的操作，和去掉 (p(x)) 是同一个道理。

3.2 展开得到线性判别式

把二次项展开：

[ (x-\mu_c)^T\Sigma^{-1}(x-\mu_c) = x^T\Sigma^{-1}x - 2\mu_c^T\Sigma^{-1}x + \mu_c^T\Sigma^{-1}\mu_c ]

其中 (x^T\Sigma^{-1}x) 这一项与类别 (c) 无关，可以扔掉。剩下的判别分数变成：

[ \delta_c(x) = \mu_c^T\Sigma^{-1}x - \frac{1}{2}\mu_c^T\Sigma^{-1}\mu_c + \log \pi_c ]

这是一个关于 (x) 的线性函数。也就是说，共享协方差的高斯判别分析，最终得到的决策边界是线性的。整个过程我们从来没有计算过 (p(x))，甚至连 (p(x|y)) 的归一化常数都没完整保留。

3.3 参数估计怎么做

实际训练时，我们需要估计 (\mu_c)、(\Sigma)、(\pi_c)。用最大似然：

• (\hat{\pi}_c = \frac{n_c}{n})，就是类别频率。
• (\hat{\mu}c = \frac{1}{n_c}\sum{i:y_i=c} x_i)，就是类别内均值。
• (\hat{\Sigma} = \frac{1}{n}\sum_c \sum_{i:y_i=c} (x_i-\hat{\mu}_c)(x_i-\hat{\mu}_c)^T)，注意这里是除以 (n) 而不是 (n-C)，不同教材有差异，实践中影响不大。

这里有个细节值得说：协方差矩阵的估计在维度高、样本少时非常不稳定，甚至不可逆。这时候要么做正则化（加一个小量到对角线），要么用对角协方差假设，要么先降维。这是 GDA 落地时最常见的坑。

3.4 代码实现：不碰 p(x) 的 GDA

下面是一段可以直接跑的 Python 实现，用的是 numpy，没有依赖 sklearn 的分类器，方便你看清每一步。

import numpy as np class GDA: def __init__(self, reg=1e-6): self.reg = reg # 协方差正则化系数 def fit(self, X, y): self.classes = np.unique(y) n, d = X.shape self.priors = {} self.means = {} # 估计均值和先验 for c in self.classes: Xc = X[y == c] self.priors[c] = len(Xc) / n self.means[c] = Xc.mean(axis=0) # 估计共享协方差 cov = np.zeros((d, d)) for c in self.classes: Xc = X[y == c] diff = Xc - self.means[c] cov += diff.T @ diff cov /= n # 正则化，防止不可逆 cov += self.reg * np.eye(d) self.cov_inv = np.linalg.inv(cov) return self def decision_scores(self, X): scores = {} for c in self.classes: mu = self.means[c] # delta_c(x) = mu^T Sigma^-1 x - 0.5 mu^T Sigma^-1 mu + log pi linear = X @ self.cov_inv @ mu const = -0.5 * mu @ self.cov_inv @ mu + np.log(self.priors[c]) scores[c] = linear + const return scores def predict(self, X): scores = self.decision_scores(X) # 堆叠后取 argmax score_matrix = np.column_stack([scores[c] for c in self.classes]) idx = np.argmax(score_matrix, axis=1) return self.classes[idx]

这段代码里，decision_scores返回的就是每个类别的判别分数，完全没有 (p(x)) 的影子。你可以拿它和 sklearn 的LinearDiscriminantAnalysis对比，在共享协方差设定下结果应该非常接近。

注意：cov /= n这里用的是有偏估计。如果你用n - len(classes)做无偏估计，数值上会有细微差别，但分类边界基本不变。工程上不必纠结。

4. 朴素贝叶斯：另一个绕开 p(x) 的经典路径

4.1 条件独立假设带来的简化

朴素贝叶斯是另一个“without p(x)”的典型。它假设特征在给定类别下条件独立：

[ p(x|y=c) = \prod_{j=1}^{d} p(x_j|y=c) ]

判别分数取对数：

[ \log g_c(x) = \sum_{j=1}^{d} \log p(x_j|y=c) + \log p(y=c) ]

同样没有 (p(x))。这个假设在现实中几乎从来不成立，但朴素贝叶斯在很多文本分类、垃圾识别任务上表现意外地好。原因之一就是：分类只关心排序，条件独立假设虽然让概率估计有偏，但排序往往还能保持正确。

4.2 离散特征与连续特征的处理差异

对于离散特征，(p(x_j|y=c)) 直接用频率估计，配合拉普拉斯平滑：

[ p(x_j=v|y=c) = \frac{\text{count}(x_j=v, y=c) + \alpha}{\text{count}(y=c) + \alpha \cdot V} ]

其中 (V) 是特征取值个数，(\alpha) 通常取 1。

对于连续特征，常见做法是假设高斯分布，估计每个类别下每个特征的均值和方差。这就是 Gaussian Naive Bayes。注意这里的协方差是对角的，和 GDA 的共享全协方差不同，所以决策边界是二次的（每个特征独立贡献一个二次项）。

4.3 实操中的数值稳定技巧

朴素贝叶斯最大的坑是“零概率”和“下溢”。零概率用平滑解决，下溢用对数解决。但还有一个更隐蔽的问题：当某个特征在某个类别下从未出现，平滑后的概率仍然可能非常小，取对数后变成很大的负数，导致这个类别被彻底否定。这时候可以考虑：

• 增大平滑系数 (\alpha)，但要小心过度平滑。
• 对特征做分桶，把连续值离散化，减少稀疏。
• 使用对数域下的加法，避免先乘后取对数。

我个人的经验是，文本分类里 (\alpha=1) 通常够用，但如果类别极不平衡，可以适当调小。连续特征做高斯朴素贝叶斯时，一定要检查方差是否为 0，否则会除零。加一个极小的 (\epsilon) 到方差上是标准操作。

4.4 一个文本分类的最小示例

from collections import defaultdict import math class NaiveBayesText: def __init__(self, alpha=1.0): self.alpha = alpha self.class_prior = {} self.word_count = {} self.class_total = {} self.vocab = set() def fit(self, docs, labels): class_doc_count = defaultdict(int) for doc, label in zip(docs, labels): class_doc_count[label] += 1 self.word_count.setdefault(label, defaultdict(int)) self.class_total.setdefault(label, 0) for word in doc: self.word_count[label][word] += 1 self.class_total[label] += 1 self.vocab.add(word) n = len(docs) for label, cnt in class_doc_count.items(): self.class_prior[label] = math.log(cnt / n) def predict(self, doc): scores = {} V = len(self.vocab) for label in self.class_prior: score = self.class_prior[label] total = self.class_total[label] for word in doc: count = self.word_count[label].get(word, 0) # 拉普拉斯平滑后的对数概率 score += math.log((count + self.alpha) / (total + self.alpha * V)) scores[label] = score return max(scores, key=scores.get)

这段代码里，predict直接比较对数判别分数，没有任何归一化。你可以把它用在简单的邮件分类或者评论情感分类上，效果通常比想象中好。

5. 从生成式到判别式：逻辑回归与贝叶斯的隐藏联系

5.1 高斯假设下后验的推导

前面提到，当 (p(x|y)) 是共享协方差的高斯时，后验可以写成 sigmoid 形式。我来把这个推导补全，因为它是理解“without p(x)”深层含义的关键。

二分类下，令 (a = \log g_1(x) - \log g_0(x))。根据前面的线性判别式：

[ a = (\mu_1 - \mu_0)^T\Sigma^{-1}x - \frac{1}{2}(\mu_1^T\Sigma^{-1}\mu_1 - \mu_0^T\Sigma^{-1}\mu_0) + \log\frac{\pi_1}{\pi_0} ]

这是一个关于 (x) 的线性函数，记作 (w^T x + b)。而后验概率：

[ p(y=1|x) = \frac{g_1(x)}{g_1(x)+g_0(x)} = \frac{1}{1+\exp(-a)} = \sigma(a) ]

看到了吗？(p(x)) 在分子分母里同时出现，被约掉了。最终后验只依赖于线性判别分数 (a)。这就是为什么逻辑回归的形式会自然出现。

5.2 判别式训练的优势与代价

既然高斯假设能推出逻辑回归，那为什么不直接用逻辑回归？因为逻辑回归是判别式训练，直接优化条件似然，不需要假设 (p(x|y)) 的具体形式。当高斯假设不成立时，逻辑回归往往更稳健。

代价是：判别式模型不能生成新样本，也不能直接处理缺失值（生成式模型可以对缺失特征做边缘化）。所以选哪个，取决于你的任务。如果你只需要分类，判别式通常更省事；如果你需要理解数据结构、做异常检测、处理缺失，生成式更有优势。

5.3 一个统一视角

把这两条路放在一起看：

这张表的核心信息是：所有这些方法都不需要显式计算 (p(x))。它们的区别在于建模假设和优化目标，而不在于是否处理了 (p(x))。

6. 实操中的坑与排查清单

6.1 数值问题速查

6.2 特征标准化为什么重要

高斯判别分析和逻辑回归都对特征尺度敏感。如果一个特征取值范围是 0 到 1，另一个是 0 到 10000，协方差矩阵的条件数会非常大，求逆不稳定。标准做法是每个特征减均值除标准差。注意：标准化要用训练集的统计量，然后应用到测试集，不能各自标准化，否则会引入信息泄漏。

6.3 先验概率的陷阱

先验 (p(y)) 在判别分数里是加性项。如果训练集类别极不平衡，比如正类占 1%，先验项会让负类天然占优。这在某些场景下是合理的，但如果你关心的是召回率，可能需要手动调整先验或者用代价敏感方法。我见过有人直接拿不平衡数据训练，然后奇怪为什么模型几乎不预测少数类，问题就出在先验上。

6.4 判别分数不是概率

这一点必须反复强调。很多人拿到判别分数后想把它当概率输出，比如“这个样本有 80% 概率是正类”。如果你没有做归一化，这个解释是错的。要得到概率，需要做 softmax 或者 sigmoid 变换，而且变换后的数值是否校准，还要看模型假设是否成立。实践中，如果只是做排序或者阈值决策，直接用判别分数就够了，不必强行转概率。

7. 我个人的一些实操体会

我第一次真正理解“without p(x)”是在做一个高维文本分类任务时。当时用高斯判别分析，协方差矩阵 5000 乘 5000，求逆直接卡死。后来改成对角协方差加正则化，判别分数只用了均值和方差，训练时间从几十分钟降到几秒，准确率只掉了不到一个百分点。那一刻我才意识到，(p(x)) 从来不是分类的必要条件，它只是生成式建模的一个中间产物。

后来做异常检测时，我又反过来用到了 (p(x))。因为异常检测没有“其他类别”，你必须建模正常数据的分布，这时候 (p(x)) 就成了核心。所以我的建议是：先想清楚你的任务是不是闭集分类。如果是，大胆去掉 (p(x))；如果不是，老老实实把密度估计做好。

还有一个经验是，判别分数之间的差距可以作为置信度的粗略代理。差距大，说明模型比较确定；差距小，说明样本落在决策边界附近，可能需要人工复核。这个技巧在风控和医疗辅助场景里很实用，不需要额外训练校准模型。

最后分享一个小技巧：如果你不确定该用生成式还是判别式，可以先跑一个逻辑回归作为基线，再跑一个高斯判别分析或朴素贝叶斯。如果两者性能接近，说明数据大致符合高斯或独立假设，可以进一步分析；如果判别式明显更好，说明假设不成立，就别在生成式上死磕了。这个对比实验花不了多少时间，但能帮你快速定位方向。