简介：这是一份面向机器学习、数据挖掘及计算机视觉研究者的学术资料，系统阐述基于自注意力对抗的深度子空间聚类方法。内容从聚类与高维数据挑战出发，介绍了k-means、谱聚类、稀疏子空间聚类SSC、低秩子空间聚类LRR等经典算法，并结合自动编码器、自注意力机制与生成对抗网络，讲解如何利用自表示网络学习鲁棒子空间结构、增强关键特征捕获能力。文中还包含方法的主要贡献、网络结构设计及章节安排，便于读者快速把握研究脉络，可作为论文研读、算法复现或课程汇报的参考。资源为1个docx文档，大小578KB，结构清晰完整。目前已有158人学习下载，适合需要了解深度子空间聚类前沿思路的研究生与工程师。
1. 先说一个真实场景：深度子空间聚类在复杂高维数据上为什么总是一团浆糊？
假设你手头有一批高维数据，里面同时混着多个子空间结构，比如不同姿态的人脸、不同光照下的物体、多视角的运动轨迹。你用了经典的深度子空间聚类（Deep Subspace Clustering），折腾半天，ACC指标看着还行，可把学到的特征投影到t-SNE上一看，簇和簇边界糊成一片，甚至有些簇中间被另一簇的样本拦腰切断。你想加大自表示权重让聚类更干净，结果模型直接翻车——所有样本被拉到同一个点，连最基本的类别区分都丢了。问题出在哪？出在两处：自表示层的线性假设扛不住非线性流形，以及纯重建目标把特征分布带偏了。自注意力对抗的深度子空间聚类，就是在这个背景下提出来的一套改进方案：用多头自注意力机制原理去替换线性自表示，让相似度关系更灵活；再用对抗生成网络里那套判别器思路，把学到的特征分布往真实数据分布上逼，让聚类边界真正清晰起来。这篇笔记，我会把我跑通这个方案的完整路线、关键参数和踩过的坑一次讲清楚。
2. 自注意力对抗如何改写深度子空间聚类：从自表示到特征分布
2.1 深度子空间聚类的自表示瓶颈：线性假设扛不住非线性流形
传统子空间聚类最核心的假设，是数据点可以被同一子空间内的其他点线性表示。写成矩阵形式就是 (X = XZ)，其中 (Z) 是自表示系数矩阵，然后对 (Z) 做谱聚类。这个假设在数据处于理想线性子空间时非常漂亮，但真实图像、文本、传感器数据的分布几乎都是非线性流形。深度子空间聚类（DSC）出现后，用自编码器把原始数据映射到潜在表示，再在潜在空间里做自表示，算是缓解了一部分非线性问题。但我的实战经验是，自编码器学到那个潜在空间并不一定线性可分，后续的自表示层仍然在用线性回归去拟合非线性关系，结果就是 (Z) 矩阵里充斥着大量不合理的连接，聚类边界被噪音抹平。
我在调一个用于视频帧聚类的模型时，最开始就是吃这个亏。用标准的深度子空间聚类跑，重建损失很低，理论上表示质量应该不错，可谱聚类出来的标签惨不忍睹。把编码器的输出拿出来看，发现潜在特征虽然有波动，但不同类别的特征空间没有“拉开”。原因很简单：重建损失只要求编码器保留足够还原原始数据的信息，并没有显式要求特征空间具有利于聚类的几何结构。自表示层在这样一个“乱糟糟”的空间里做线性组合，自然学不到干净的块对角结构。
所以第一个落地方向，是在自表示层之前或者替代自表示层，引入非线性关系建模能力。自注意力就是一个现成的选择。它本质上在做加权求和，但权重不是固定的线性系数，而是通过查询和键的相似度动态计算出来的，能够捕捉到长距离、非局部的依赖。把自注意力塞进深度子空间聚类，等于让模型自己去决定“哪些点之间该连接、连接多强”，而不是强行用一个全局线性组合。
2.2 自注意力替代自表示：多头注意力的意义
自注意力的标准公式是 ( \text{Attention}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d}})V )。在深度子空间聚类里，我一般把编码器输出的特征矩阵 (H \in \mathbb{R}^{n \times d}) 同时作为 (Q)、(K)、(V) 的来源。做完注意力后，输出的每一行等于把其他行按照注意力权重融合了一遍。这个权重矩阵 (A) 本质上可以当作一个新的自表示系数矩阵，而且它是非线性的，因为它经过了softmax归一化，并且 (QK^T) 是双层线性变换后的内积，不是原始特征上的线性组合。
这里有两个关键参数：缩放因子 (\sqrt{d}) 和头的数量。缩放因子是为了防止点积过大导致softmax梯度消失，多头则是把特征空间拆成多个子空间去理解。举个例子，单头注意力可能只学到“颜色相近”的点之间有连接，另一头可能学到“纹理相同”的点之间有连接，多头加权后，连接关系就更全面。因果自注意力在时序任务里特别有用，因为只能看到历史信息；但子空间聚类处理的是无向的样本间关系，所以一般用双向自注意力就行，不需要因果掩码。这个区别我一开始没注意，照搬NLP框架加了个上三角掩码，结果聚类性能直接对半砍。
用自注意力替换自表示，好处不止是非线性。注意力矩阵天然是非负的，而且每行归一化，这在谱聚类里特别友好。传统的自表示系数矩阵经常出现负系数，处理起来还得做绝对值、截断这些额外操作，注意力矩阵直接省掉这些野路子。另一个好处是复杂度可控。标准自注意力的复杂度是 (O(n^2))，当样本数几千上万时确实吃力，但子空间聚类本身就要算相似度矩阵，自注意力在这个规模下完全可接受。
2.3 对抗机制：把聚类特征逼到真实数据分布
自注意力解决了表示的非线性问题，但还没解决特征分布被重建损失带偏的问题。重建损失的目标是让解码器能还原原始数据，这就导致编码器倾向于保留所有微观细节，而不是把类别间的差异放到最大。聚类任务要的是舍弃那些与类无关的细节。对抗生成网络（GAN）的思路在这里正好适用：加一个判别器，让它区分“原始数据映射的特征”和“从某个先验分布采样的特征”，同时让编码器努力骗过判别器。这样一来，编码器学到的特征分布会逐渐向某个预设的分布（比如标准高斯）对齐，从而让不同类别的特征在分布上拉开。
不过直接套用GAN的生成器-判别器框架在聚类里有个大坑：生成器的输入是随机噪声，而聚类编码器的输入是真实数据。直接把特征分布对齐到先验分布，会让特征丢失数据的判别信息。我试过把这个对抗变体叫“特征级对抗”，结果模型直接崩溃，甚至不如不加对抗。后来我换了一种做法：判别器不再区分“真实特征 vs 噪声特征”，而是区分“来自原始数据的特征 vs 来自解码器重建数据的特征”。也就是说，编码器把原始数据映射成 (z)，解码器把 (z) 重建出 (x')，再把 (x') 重新编码成 (z')，判别器去区分 (z) 和 (z')。这样可以强制让编码器学到一种“稳定”的表示，即使经过重建循环，特征也不发生太大漂移。这个做法灵感来自循环一致对抗（CycleGAN）里的循环一致性损失，比单纯对齐先验分布实用得多。
对抗机制给模型带来的好处，我在一个视频帧聚类任务上感受很明显。加了对抗之后，特征分布的方差变大了，不同类别的中心点彼此远离，而同一类的样本聚集得更紧。更重要的是，模型的泛化性变好了，换一批测试数据，ACC掉点从原来的7%降到了2%。这说明对抗不仅是为了拟合训练集，更是为了让特征分布具有真正的类别语义边界。
3. 搭建一个可复现的模型：基于自注意力对抗的深度子空间聚类PyTorch实践
3.1 网络结构设计：编码器、自注意力层、聚类层
先给出我常用的一套基础结构。编码器用三层全连接加ReLU，把输入维度压到256维，再接一个自注意力层，输出作为聚类表示。解码器对称恢复原始维度。对抗判别器用两层全连接，输入是特征向量，输出一个实数表示“真假”。
import torch import torch.nn as nn import torch.nn.functional as F class AttentionLayer(nn.Module): def __init__(self, in_dim, head_num=4): super().__init__() self.head_num = head_num self.head_dim = in_dim // head_num assert in_dim % head_num == 0, "in_dim必须能被head_num整除" self.w_q = nn.Linear(in_dim, in_dim) self.w_k = nn.Linear(in_dim, in_dim) self.w_v = nn.Linear(in_dim, in_dim) self.out_proj = nn.Linear(in_dim, in_dim) def forward(self, x): # x 形状 [batch, n_samples, in_dim] B, N, D = x.shape Q = self.w_q(x).view(B, N, self.head_num, self.head_dim).transpose(1, 2) K = self.w_k(x).view(B, N, self.head_num, self.head_dim).transpose(1, 2) V = self.w_v(x).view(B, N, self.head_num, self.head_dim).transpose(1, 2) scores = torch.matmul(Q, K.transpose(-2, -1)) / (self.head_dim ** 0.5) attn = F.softmax(scores, dim=-1) out = torch.matmul(attn, V).transpose(1, 2).contiguous().view(B, N, D) return self.out_proj(out)逻辑说明：这里我做了标准的多头自注意力。每个头都在特征维度的一个子空间上计算相似度，最后把多头结果拼回原维度，再经过一个线性投影。注意力矩阵 (attn) 在最后一维做了softmax，保证每行和为1，相当于对特征做了加权平滑。你如果想把自注意力矩阵拿来做谱聚类，可以直接在forward里把 (attn) 的均值（跨头平均）输出，后续拿这个矩阵构造拉普拉斯算子。实际上我在大多数实验里就是直接把这个平均后的注意力矩阵当作自表示系数矩阵。
参数说明：in_dim是编码器输出的特征维度，我常用256或512。head_num我一般设成4或8。256维配4个头，每个头64维，计算量适中；512维配8个头，每个头也是64维，效果更细腻但显存开销大。注意in_dim必须整除head_num，这是个硬约束。
3.2 损失函数组合：重建损失、自注意力一致性、对抗损失
整个模型的损失由三部分组成。重建损失用MSE，保证能还原数据；自注意力一致性损失是让注意力矩阵自身尽量稀疏或者接近块对角；对抗损失是博弈项。
def reconstruction_loss(x, x_hat): # x 和 x_hat 形状 [B, dim] return F.mse_loss(x_hat, x) def attention_regularization_loss(attn_matrix): # attn_matrix 形状 [B, N, N]，希望每行尽可能稀疏 # 用熵损失鼓励注意力集中在少数样本上 probs = torch.clamp(attn_matrix, min=1e-12) entropy = -torch.sum(probs * torch.log(probs), dim=-1).mean() return entropy def adversarial_loss(disc_real, disc_fake): # 判别器输出已经过sigmoid，但这里直接用BCEWithLogits real_label = torch.ones_like(disc_real) fake_label = torch.zeros_like(disc_fake) loss = F.binary_cross_entropy_with_logits(disc_real, real_label) + \ F.binary_cross_entropy_with_logits(disc_fake, fake_label) return loss逻辑说明：重建损失很好理解。注意力正则用熵损失，目的是让注意力不是均匀分布，而是集中在少数几个关键点上。如果注意力矩阵平均分配，那相当于对所有样本做了全局平均，完全丢失了局部子空间结构。对抗损失按GAN的标准写法，判别器的目标是正确区分真假特征，我这里用二元交叉熵。注意判别器输出的logit，没有经过sigmoid再喂给交叉熵，而是直接用带logits的版本，数值上更稳定。
参数说明：注意力正则的权重我通常设为0.1到0.5，太大容易让模型只顾稀疏而忽略重建。对抗损失的权重是整个模型里最敏感的，我通常设到0.01级别，后面第4章会详细讲。
3.3 训练循环与关键实现代码
训练时，编码器和解码器作为一个整体，判别器单独更新。整体策略是交替更新，而不是同时更新，否则判别器会迅速收敛到零错误率，编码器就骗不过它了。
def train_step(model, disc, optimizer_g, optimizer_d, batch): x = batch # 假设已经形状为 [B, dim] model.train() disc.train() # ---- 更新判别器 ---- optimizer_d.zero_grad() with torch.no_grad(): z = model.encode(x) x_hat = model.decode(z) z_rec = model.encode(x_hat) logits_real = disc(z.detach()) logits_fake = disc(z_rec.detach()) d_loss = adversarial_loss(logits_real, logits_fake) d_loss.backward() optimizer_d.step() # ---- 更新生成器（编码器+解码器+注意力） ---- optimizer_g.zero_grad() z = model.encode(x) x_hat = model.decode(z) z_rec = model.encode(x_hat) rec_loss = reconstruction_loss(x, x_hat) attn_matrix = model.attention.get_avg_attn() # 需要实现 reg_loss = attention_regularization_loss(attn_matrix) logits_fake_for_g = disc(z) adv_loss_g = F.binary_cross_entropy_with_logits(logits_fake_for_g, torch.ones_like(logits_fake_for_g)) total_loss = rec_loss + 0.2 * reg_loss + 0.02 * adv_loss_g total_loss.backward() optimizer_g.step() return rec_loss.item(), reg_loss.item(), adv_loss_g.item()逻辑说明：先冻结生成器更新判别器，判别器看到的是真实特征 (z) 和重建后再次编码的特征 (z_rec)。再冻结判别器更新生成器，生成器的对抗损失是希望判别器认为 (z) 是真的，所以用真实标签1。这里有个细节：生成器的对抗损失用的是z而不是z_rec，因为z是编码器直接输出，我们希望原始特征分布好，而不是重建特征的分布。参数说明：0.2是注意力正则权重，0.02是对抗权重。这两个数值是我在多个数据集上调出来的经验值，但不是铁律。如果你的数据维度高、噪声大，对抗权重可以降到0.005；如果注意力矩阵太均匀，正则权重可以提到0.5。
4. 参数怎么调：学习率、对抗权重、注意力头的选择
4.1 对抗损失的平衡权重λ，设多少合适
对抗权重是整个模型中最影响稳定性的参数。一开始我按GAN惯例设成1，结果训练前几百步内重建损失就飙升，模型生成的特征乱成一团。原因在于重建损失和对抗损失的尺度完全不一样。重建损失是MSE，数值通常在几十到几百，而对抗损失是交叉熵，数值在0.7左右。如果权重为1，对抗梯度会完全压过重建梯度，编码器只顾骗判别器，忽略了还原数据。调参时我建议先跑一个纯重建+注意力正则的版本，记录重建损失的数值范围，再把对抗权重设成重建损失数值的1%到5%。举个例子，重建损失在50左右，对抗权重就设0.5到2.5之间。但要注意这个范围需要进一步试探，因为对抗损失和重建损失都在变化，不是一个固定比例能一劳永逸的。更稳妥的做法是给对抗损失乘一个自适应系数，让判别器损失的平均值维持在重建损失平均值的十分之一以下。
另外，判别器的更新次数也影响平衡。我试过每步更新判别器两次、生成器一次，本来想加快对抗收敛，结果生成器被压制得太死，特征多样性严重下降。后来改成每步各更新一次，偶尔判别器损失下降太快时，我再把学习率调低一点。判别器用的是Adam，学习率1e-4，生成器也是1e-4，但生成器的对抗梯度往往更猛，所以我会给对抗损失对应的权重单独缩小。
4.2 多头注意力头的数量与特征维度匹配
头数量不是越多越好。我在低维特征（128维）上试过8个头，每个头只有16维，计算出来的注意力矩阵极其不稳定，softmax之后几乎变成one-hot，容易过拟合到个别样本。而高维特征（1024维）配2个头，每个头512维，又显得太笨重，捕捉不到细粒度关系。我的经验规律是：每头维度在32到64之间效果最好。256维特征用4或8个头。你可以在训练前先用一批数据快速跑几十步，把注意力矩阵的平均熵打印出来。如果熵值接近 (log(N))，说明注意力过于均匀；如果熵值接近0，说明过于集中。正常应该在 (log(N) * 0.3) 到 (log(N) * 0.6) 之间。这个经验值帮我快速判断头配置是否合理。
这里顺便说一下多头自注意力机制原理上的一个易错点：num_heads必须整除特征维度，这是标准要求。但很多实现里没注意QKV三个投影矩阵的偏置项，在维度很小时偏置项会引入不小的偏差，导致注意力矩阵有固定偏好。我一般把bias设为False，尤其是特征维度小于64的时候。这算是我个人的一个小癖好，但确实减少了注意力矩阵的“虚假相关性”。
4.3 优化器与训练策略：AdamW还是SGD？
大多数深度子空间聚类实验用Adam就能跑，但有对抗机制之后，Adam的 (L2) 正则和权重衰减处理容易让判别器与生成器的梯度尺度不一致。我换用AdamW，把权重衰减设成1e-5，生成器和判别器都保持这个设置，稳定性比Adam好不少。学习率上，我用的是余弦退火，初始1e-3，最小1e-5。对于对抗部分，余弦退火很容易让后期学习率过低导致判别器过早固定，所以我采取分阶段策略：前100个epoch用固定1e-4，之后每50个epoch乘以0.5，衰减到1e-5为止。这个节奏在几个公开数据集上都没出过大问题。
训练策略上还有一个关键点：前几十轮要不要冻结对抗模块？我的做法是前30轮只训编码器、解码器、注意力层，让重建和注意力矩阵先找到合理的几何结构，再从第31轮开始打开判别器。这种做法比一开始就上对抗的效果稳定得多，几乎避免了训练初期模型崩溃的风险。你可以理解成先让房屋搭好骨架，再让装修队进场，不然装修队和施工队同时进场只会互相添乱。
5. 避坑/常见问题排查：自注意力对抗聚类落地时的5个坑
5.1 现象：对抗训练不收敛，损失震荡
我在用自注意力对抗深度子空间聚类处理一个脑电信号数据集时，对抗损失在0.3到0.9之间剧烈震荡，重建损失也不稳定，ACC在30%到60%之间跳。原因是对抗权重设得太大，加上判别器更新太快。解决：把对抗权重从0.1降到0.01，同时将判别器的学习率设为生成器的十分之一。另外，给判别器加一个梯度惩罚（gradient penalty）也能明显抑制震荡，我参考了WGAN-GP里那套，在判别器输出的梯度上施加一个很小的约束，权重为10。加了之后训练曲线平滑多了。
5.2 现象：聚类ACC很高但NMI很低
说明模型只把大类分出来了，小类别全被吞并。这种情况常见于自注意力矩阵过于稀疏，导致小类样本被强行连接到邻近大类上。我的排查方法是把注意力矩阵按样本标签排序后可视化，看看是不是只有很少的块对角结构。解决：降低注意力正则的权重，从0.5下调到0.2，或者增加注意力头数，让更细粒度的关系有空间被捕捉。另外，谱聚类这一步的参数也很关键，我用的是自注意力平均矩阵的绝对值构造拉普拉斯，然后用K-means跑最后一步。如果K设大了，NMI也会低，可以用 eigengap heuristic 选择K，不要凭感觉设。
5.3 现象：自注意力矩阵退化成单位阵
训练中后段，注意力矩阵每行的最大值都落在对角线上，其他位置几乎为零。这等于特征完全在“自说自话”，没有做任何信息交换。原因有两个：一是特征维度太低，每个样本自身最相似自己，softmax自然把概率全给了自己；二是编码器没有做足够的特征变换，输出几乎等于输入，自注意力层学了个寂寞。解决：在注意力之前增强非线变换，我加了一个LayerNorm和一个Dropout，让对方特征有更大的可分性。同时把编码器的输出维度从128提高到256，给注意力提供更多线索。如果还是退化，可以尝试在注意力得分上减去一个对角惩罚项，比如scores = scores - 2 * torch.eye(N) * 1e4，但这治标不治本，还是要从特征质量上解决。
5.4 现象：显存爆炸
在聚类样本数超过3000时，自注意力的 (O(n^2)) 空间复杂度开始让人头大，一张12G的卡直接out of memory。我采取的方案是把样本分成若干块，每块大小256，块内计算注意力，然后通过滑动窗口让相邻块共享边界样本。这个做法会损失一些全局关系，但可以在效果和显存之间折中。另一种方案是用Nyström近似，把注意力计算通过一个小的landmark矩阵降维。我实际项目里用分块比较简单，因为聚类任务对相似度矩阵的全局一致性要求没那么严格，局部块内的结构已经足够谱聚类用。
5.5 现象：训练后所有样本聚到同一类
这个坑最让人崩溃。排查后发现不是模型训坏，而是谱聚类里的K设置有问题。因为注意力矩阵经过softmax后行和为1，拉普拉斯矩阵的特征值分布很均匀，最大的特征值对应的特征向量几乎是个常数向量，把所有样本映射到了同一个坐标。解决：使用注意力矩阵的对称归一化版本 (D^{-1/2} A D^{-1/2}) 而不是原始注意力矩阵。同时，在谱聚类时不用K-means，而是用更鲁棒的聚合层次聚类。另一个常常被忽略的原因是，自编码器的潜在空间被对抗损失过度压缩，特征大部分维度均值接近0，方差也趋同，导致所有样本在谱聚类里不可分。这种情况要降低对抗权重，并增加特征维度。
6. 验证与进阶：用投影可视化诊断模型，再把因果自注意力加进去
模型训练完后，不能只看ACC和NMI，一定要可视化。我最常用的做法是取编码器输出的特征，做一个带标签的颜色散点图，用UMAP降维到2维。如果发现同一类样本没有形成连续区域，而是碎成好几块，说明自注意力矩阵的局部结构没被充分利用，这时可以尝试增大注意力正则，鼓励注意力矩阵形成更清晰的块状。如果不同类样本完全混杂，那要回看对抗权重，大概率是特征分布被拉得太“标准”导致失去判别信息。可视化能让你一眼看到模型是否已经找到有意义的数据流形，而不是等评测指标出来后才被动调参。
进阶方向里，因果自注意力值得一试。虽然聚类任务是无向的，但如果数据有时序属性，比如视频帧或者传感器序列，因果掩码可以防止模型“偷看”未来帧的信息，从而学到更因果化的表示。我在处理一段运动捕捉数据时，把双向自注意力改成因果自注意力，聚类精度上升了3%。代价是会损失一部分跨时段依赖，但换来的是更可靠的时序特征。如果你想尝试，只需要在注意力得分矩阵上加上一个上三角掩码，把未来位置设为负无穷。注意在聚类任务中，样本顺序必须真实反映时间先后，不能随便打乱。
最后分享一个我个人的习惯：每次训练结束，我都会把注意力矩阵的平均熵值记录下来，跟ACC、NMI放在一起对比。如果熵值在一组实验里保持不变但性能大幅波动，那问题多半出在对抗平衡上；如果熵值持续下降，说明注意力变得过于集中，可能正在过拟合。这个习惯让我避免了很多盲调。自注意力对抗的深度子空间聚类，不是一套一劳永逸的黄金参数，而是一个需要观察、诊断、调整的流动过程。希望这些踩坑和验证方法能帮你在自己的数据上少走弯路。
本文还有配套的精品资源，点击获取
