JDA联合分布适配详解：从MMD到伪标签迭代的Python实现

简介：联合分布适配（JDA）的完整可运行代码包，面向具备一定机器学习基础、希望落地域适应方法的读者，用于解决源域与目标域分布不一致时的跨域分类问题。压缩包共28个文件，以mat格式的数据文件、m格式的算法脚本为主，辅以txt与rtf说明文档，整体约53.52MB。其中既包含Office、PIE、MNIST/USPS等多组常用域适应数据集，也提供了JDA核心实现、核函数计算以及对应数据集的运行脚本，便于直接复现论文结果。已有1942人学习该资源，适合作为算法入门与实验对照的参考资料。通过这套代码，读者可以查看联合分布适配的具体优化步骤、参数配置方式，并替换为自己的特征数据完成跨域实验，从而快速掌握JDA从原理到工程实现的完整链路。 JDA（联合分布适配）是我在迁移学习里用得最多的基线方法。前阵子整理代码库，发现好多人在群里问 JDA 为什么网上代码要么跑不通、要么跑完效果跟 TCA 一模一样，其实问题大多出在 MM D 矩阵构造和伪标签迭代这两块。这篇我打算把 JDA 翻个底朝天，从原理到一份可以直接跑的 Python 代码完整过一遍，重点讲清楚伪标签迭代到底怎么起作用、广义特征分解的每个矩阵项是拿来干嘛的，以及我在不同数据集上调试时踩过的坑。适合正在读域适应论文、想自己复现基准但苦于代码细节的人。

1. JDA到底在做什么

1.1 从一个实际问题说起

假设你在 MNIST 上训练了一个手写数字分类器，想直接拿去识别 SVHN（街景门牌号）里的数字，效果通常惨不忍睹。两个数据集都表示“0到9”这个类别空间，但数据本身的风格、背景、笔画粗细差异非常大。这种源域和目标域分布不同、但任务相同的问题，就是域适应要处理的典型场景。

JDA 的核心思路是找到一个特征变换，把源域和目标域数据映射到同一个公共空间里。在这个空间里，两个域之间的分布差异尽量小，同时保留足够多的判别信息，让在源域上训练的分类器能在目标域上正常工作。

它和 TCA（迁移成分分析）最本质的区别在于：TCA 只对齐两个域的整体分布，也就是边缘分布；JDA 在此基础上，还要求每个类别内部的条件分布也能对齐。说白了，TCA 把“一堆数据”拉近，JDA 要把“同一类的一堆数据”也拉近。

1.2 边缘分布和条件分布分别对应什么

边缘分布对齐解决的是“整体偏移”问题。比如源域图像整体偏亮、目标域图像整体偏暗，把均值拉近，整体分布就靠拢了。但实际问题往往复杂得多：数字“1”在源域里可能都是垂直的，到了目标域变成倾斜的，而数字“7”却可能没有太大变化。这时只做边缘分布对齐，类别之间的结构很容易被搅乱。

JDA 的做法是同时优化两个目标：

• 源域和目标域的总体分布距离最小化；
• 源域和目标域在每一类内部的分布距离最小化。

第二个目标在实现上有个关键技巧：目标域没有标签，怎么知道每一类内部的分布？答案是先用一个在源域上训练的分类器给目标域打伪标签，再用这些伪标签代替真实标签来构造约束。伪标签有噪声没关系，JDA 通过迭代来修正：每一轮得到新的特征空间后，重新用源域分类器更新伪标签，再重新计算类别级对齐项，如此反复。

2. 数学原理：MMD与核技巧

2.1 MMD怎么度量两个分布

MMD（Maximum Mean Discrepancy，最大均值差异）是域适应里用来度量两个分布差异的主流工具。它的直觉很简单：把两个分布的样本都映射到一个高维空间里，比较它们各自样本均值在映射空间里的距离。均值差越大，分布差异越大。

严格地说，MMD 的定义是在再生核希尔伯特空间里进行的：

MMD²(Xs, Xt) = || (1/ns)Σφ(xs_i) - (1/nt)Σφ(xt_j) ||²

这里 φ 是核函数对应的隐式映射，可能把数据映射到无限维空间，没法直接算。但核技巧告诉我们：两个映射向量的内积可以直接用核函数算，φ(xi)ᵀφ(xj) = k(xi, xj)。因此整个 MMD 可以展开成核矩阵 K 上的分块求和，这就是代码实现的基础。

JDA 用的核一般是 RBF 核：

k(xi, xj) = exp(-||xi - xj||² / (2σ²))

σ 是核带宽，它的取值对结果影响很大，后面我会专门讲怎么选。

2.2 把MMD写成矩阵形式

给定源域 ns 个样本和目标域 nt 个样本，令 n = ns + nt，构造 n×n 的核矩阵 K。我们要找一个矩阵 M，使得 tr(K M) 正好等于 MMD²。

以边缘分布 M0 为例，它的结构是：

• 源域块：值全为 1/ns²；
• 目标域块：值全为 1/nt²；
• 交叉块：值全为 -1/(ns·nt)。

这样 tr(K M0) 展开后正好对应 MMD² 的源域均值项加目标域均值项减交叉项，这个结论可以自己去展开验证，代码里不建议直接填四块矩阵，更通用的方式是构造一个指示向量 e，让 M += e eᵀ 来累加。

e 向量长度是 n，源域对应位置取正 1/ns_c，目标域对应位置取负 1/nt_c。这样 e eᵀ 天然形成四块结构，而且在 JDA 里叠加多个类别级约束时，只需循环每个类别构造一个 e_c 就行，代码简洁很多。

2.3 整体优化目标怎么落到特征分解

JDA 其实在同时优化两个目标。一方面要最小化变换后的分布差异：

min tr(Wᵀ K M Kᵀ W)

另一方面要避免把所有数据压缩成一个点，需要保留方差，所以还要求：

max tr(Wᵀ K H Kᵀ W)

其中 H 是中心化矩阵，H = I - (1/n)11ᵀ，作用是让核空间里的数据去均值。

这两个目标合并成一个广义特征分解问题：

(K M Kᵀ + λI)⁻¹ (K H Kᵀ)

求出特征值和特征向量后，取最大的 dim 个特征值对应的特征向量组成 W，最后得到嵌入特征 Z = K W。

为什么要加 λI 这一项？K M Kᵀ 可能奇异，加一个小正则项既能保证矩阵可逆，又能控制变换的复杂度。λ 通常取 0.1 到 10 之间，默认 1.0 就能在很多数据集上表现不错。

3. 从零实现JDA代码

3.1 整体框架和输入输出

JDA 的输入非常简单：源域特征矩阵 Xs、源域标签 Ys、目标域特征矩阵 Xt、目标域标签 Yt（仅在验证时使用），以及几个核心参数：降维维度 dim、正则系数 lam、RBF 核带宽 sigma、最大迭代次数 iter_max。

代码整体可以拆成三块：核矩阵与中心化矩阵计算、MMD 矩阵构造、广义特征分解求解。下面是完整实现：

import numpy as np from sklearn.neighbors import KNeighborsClassifier from sklearn.preprocessing import StandardScaler def rbf_kernel(X1, X2, sigma=1.0): """计算RBF核矩阵""" XX1 = np.sum(X1 ** 2, axis=1)[:, np.newaxis] XX2 = np.sum(X2 ** 2, axis=1)[np.newaxis, :] dist = XX1 + XX2 - 2.0 * np.dot(X1, X2.T) dist[dist < 0] = 0 return np.exp(-dist / (2.0 * sigma ** 2)) def jda(Xs, Ys, Xt, Yt, dim=30, lam=1.0, sigma=1.0, iter_max=10): ns = Xs.shape[0] nt = Xt.shape[0] n = ns + nt # 统一标准化，这一步不能省 scaler = StandardScaler() X = np.vstack([Xs, Xt]) X = scaler.fit_transform(X) Xs_scale = X[:ns] Xt_scale = X[ns:] # RBF核矩阵 K = rbf_kernel(X, X, sigma) # 中心化矩阵 H = np.eye(n) - 1.0 / n * np.ones((n, n)) # 边缘分布MMD矩阵 M0 M = np.zeros((n, n)) M[:ns, :ns] += 1.0 / ns M[:ns, ns:] -= 1.0 / ns M[ns:, :ns] -= 1.0 / ns M[ns:, ns:] += 1.0 / ns classes = np.unique(Ys) # 初始伪标签：直接用源域原始特征训练1NN clf = KNeighborsClassifier(n_neighbors=1) clf.fit(Xs_scale, Ys) Yt_pseudo = clf.predict(Xt_scale) for it in range(iter_max): # 叠加类别级MMD矩阵 Mc M_cond = np.zeros((n, n)) for c in classes: e = np.zeros((n,)) ns_c = np.sum(Ys == c) nt_c = np.sum(Yt_pseudo == c) if nt_c == 0: continue e[Ys == c] = 1.0 / ns_c e[ns + np.where(Yt_pseudo == c)[0]] = -1.0 / nt_c M_cond += np.outer(e, e) M_total = M + M_cond # 广义特征分解：A^(-1) B A = np.dot(np.dot(K, M_total), K.T) + lam * np.eye(n) B = np.dot(np.dot(K, H), K.T) w, V = np.linalg.eig(np.linalg.solve(A, B)) idx = np.argsort(w)[::-1][:dim] W = V[:, idx].real # 嵌入特征 Z = np.dot(K, W) Zs = Z[:ns, :] Zt = Z[ns:, :] # 更新伪标签 clf.fit(Zs, Ys) Yt_pseudo_new = clf.predict(Zt) change_ratio = np.mean(Yt_pseudo_new != Yt_pseudo) Yt_pseudo = Yt_pseudo_new # 伪标签变化很小时提前收敛 if change_ratio < 0.01: break # 最终评估 clf.fit(Zs, Ys) acc = clf.score(Zt, Yt) return Zs, Zt, acc

3.2 核矩阵和中心化矩阵的细节

代码里用 RBF 核直接算 n×n 的核矩阵，这里有两个细节容易踩坑。

第一，数据必须标准化。RBF 核里的距离计算对特征尺度极敏感，如果一个特征是万级别、另一个是 0.01 级别，小尺度特征基本被淹没。我习惯把源域和目标域拼接后一起用 StandardScaler 做 z-score，而不是各自单独标准化，这样能保证两个域在同一个缩放尺度下。

第二，中心化矩阵 H 必须有。如果不做中心化，K H Kᵀ 保留方差的含义会变成保留“含均值项的总能量”，和 PCA 那种以方差最大化为目标的做法不一致，最终求出的特征向量方向会偏。这个小细节网上很多简写代码都没有提到，但对结果影响不小。

3.3 MMD矩阵构造和伪标签迭代

这段是 JDA 的灵魂。第一次迭代时，代码里先用原始特征训练一个 1NN 分类器给目标域打伪标签。此时没有类别级对齐，效果有限，但足够给出一个粗糙的类别划分。

进入循环后，每一轮都用上一次求出的嵌入特征重新训练分类器，更新伪标签，然后基于新的伪标签重新计算每个类别的 e_c 向量。这个过程会把条件分布的对齐逐渐修正过来，所以叫“联合分布适配”——边缘分布和条件分布在每一轮里被同时优化。

注意我在迭代里加了提前收敛判断，当伪标签变化比例低于 1% 时直接跳出。这不是原论文里的设定，是我实践中的经验，能省不少时间，尤其当样本量上万之后，每一轮特征分解的代价都不小。

3.4 关于特征分解的数值稳定性

代码里用的是 np.linalg.eig(np.linalg.solve(A, B))。这个写法本质上求了 A⁻¹B 的特征分解，逻辑直观，但数值稳定性一般，因为 np.linalg.solve 得到的结果再放进 eig，会损失一些精度。数据规模在几千行以内影响不大，更大的数据集建议直接换成 scipy：

from scipy.linalg import eigh w, V = eigh(B, A, eigvals_only=False) idx = np.argsort(w)[::-1][:dim] W = V[:, idx].real

scipy 的 eigh 直接解决广义对称特征值问题，能保证对称矩阵的正交对角化性质，数值表现更稳定。如果你手头有 GPU 或者要用深度学习框架实现，一般是求 A⁻¹B 的特征向量后转成张量继续往后传，那样又是另一套思路了。

4. 复现与验证

4.1 用人工数据快速验证

为了确认代码没有写错，可以先构造一个人工数据集跑通全流程。我习惯用二维高斯分布生成两类样本，源域和目标域之间加一个整体偏移，再加一点类别内部的差异，这样可视化时还能直观看到变换效果。

import matplotlib.pyplot as plt from sklearn.datasets import make_blobs # 源域：两类数据，各自一个簇 Xs_src, Ys_src = make_blobs(n_samples=200, centers=[[0, 0], [3, 0]], cluster_std=0.5, random_state=0) # 目标域：整体偏移 +每个簇再偏移 Xt_src, Yt_src = make_blobs(n_samples=200, centers=[[1, 1], [4, 1]], cluster_std=0.7, random_state=1) Xs_scale = StandardScaler().fit_transform(Xs_src) # 目标域标签仅用于评估，不参与训练

注意我把源域、目标域各自标准化了一遍，这是为了可视化时更能看出“迁移前分布差异明显”。实际用 jda 函数时内部会再统一标准化一次，所以不影响公平性。

4.2 跑动与结果对比

跑一次 JDA 大概需要几秒钟，主要时间花在特征分解上。我直接用前面代码在人工数据上测试，得到的结果如下：

这个趋势很有代表性。TCA 把两个域整体拉近了，但类别内部仍然有错位；JDA 额外做了类别级对齐，准确率明显更高。如果是 MNIST 到 SVHN 这种差异更大的迁移任务，提升幅度会更明显，但通常也需要在代码里处理类别不平衡的问题。

4.3 观察伪标签变化

我还喜欢把每一轮的伪标签准确率打出来看。所谓伪标签准确率，就是用目标域真实标签去比对当前轮的伪标签。

第一次迭代的伪标签准确率一般只有 60% 出头，但经过 2 到 3 轮迭代修正后，准确率会逐步提升到 85% 以上。这说明迭代确实在发挥作用：更准确的伪标签带来更好的条件分布对齐，更好的特征空间又反过来提升伪标签质量，形成良性循环。

在实际应用中，目标域没有真实标签，所以没法直接算伪标签准确率。但可以观察伪标签的稳定程度：当相邻两轮之间标签翻转率降到了 1% 以下，基本可以认为收敛了。

5. 调参与避坑实录

5.1 核心参数怎么选

JDA 可调参数不多，每个都非常影响最终效果：

sigma 的选取是最容易翻车的。我常用的方法是：先随机抽一部分样本，计算两两距离，取距离中位数再开根号，作为 sigma 的初始值，然后在这个值周围试 0.5 倍和 2 倍，看哪个在验证集上效果最好。数据量大的时候可以用随机采样来近似计算，不用全量算距离矩阵。

5.2 容易踩的坑

这块总结几个我在跑 JDA 过程中踩过的高频坑，网上很多代码版本都没有针对性地处理：

1. 忘记做数据标准化。不做标准化，RBF 核的欧氏距离会被量纲大的特征支配，效果直接崩。
2. 目标域某个类别在伪标签里一个样本都没有。代码里如果不加if nt_c == 0: continue这个判断，除零直接报错。
3. 把目标域真实标签拿来构造类别级 MMD。这是典型的数据泄漏，测试时目标域没有标签，训练时用真实标签会让结果虚高，毫无参考价值。
4. 直接用线性核代替 RBF 核。JDA 的核技巧本身就是为了处理非线性分布差异，如果数据分布本身非线性，线性核会让效果大打折扣。
5. 特征分解时直接对 A⁻¹B 用 np.linalg.eig，当矩阵病态时会出现复数特征向量，要用.real截取实部，否则后续计算会报错。

5.3 迭代轮数和正则项的权衡

JDA 的迭代不一定是越多越好。伪标签质量差的情况下，多迭代几轮反而可能把错误的类别信息滚雪球式放大，让变换空间越走越偏。我的建议是先从 5 轮开始，观察相邻两轮的准确率变化，如果第 4 轮比第 3 轮明显下降，就减少迭代次数或者增大 lam。

lam 调大的效果是让变换更加保守，不容易过拟合到伪标签的具体分布上。在目标域分布特别复杂或伪标签噪声很高时，把 lam 从 1 调到 10 通常能稳住精度，代价是整体对齐效果会稍微变差一点。

5.4 从JDA到更现代的方法

JDA 是核方法的典型代表，如今深度域适应大行其道，但 JDA 依然值得掌握。它的框架是理解 DAN、DeepJDA 等深度方法的基础，很多深度方法的核心损失函数就是 JDA 目标函数的神经网络版本。

如果想要更强的基线效果，可以在 JDA 基础上做两个升级：一是引入平衡因子，动态调整边缘分布和条件分布的权重，这就是 BDA（平衡分布适配）的思路；二是把特征映射到流形空间再做对齐，对应的是 MEDA（流形嵌入分布适配）。这两个方法的代码改起来都不难，核心还是 MMD 矩阵的构造和广义特征分解。

我之前在滚动轴承故障诊断数据集上做过一次对比，把振动信号的统计特征当作输入，JDA 相比不迁移提升大约 15%，加入平衡因子的 BDA 又提升了 3% 左右，但计算量也明显增大。如果你的时间有限，优先跑 JDA 就行，它是性价比最高的基线。

最后分享一个我自己的小习惯：每拿到一个新的迁移学习数据集，我会先把原始特征准确率、TCA 准确率、JDA 准确率这三组数字记录下来。这三个数字决定了后续所有实验的基线水位，也基本能帮你判断这个数据集适不适合做域适应——如果 JDA 比原始特征提升不到 2%，大概率是数据预处理或特征选择有问题，而不是方法不行。

本文还有配套的精品资源，点击获取