图自编码器GAE与变分图自编码器VGAE：原理、实现与链路预测实战

图自编码器（GAE）和变分图自编码器（VGAE）这两个名字，在刚接触图神经网络的时候很容易被当成两个高级玩具——看起来就是把自编码器搬到了图上，似乎没什么特别。但真当你开始做链路预测、节点聚类或者图表示学习的时候，会发现这两个模型几乎是所有入门方案的必经之路，也是你理解“图上做生成式模型到底怎么玩”的最佳切口。

这篇内容不打算堆公式，也不打算只贴代码。我会从设计思路、核心原理、完整落地流程到踩坑记录，把GAE和VGAE掰开揉碎讲清楚。代码基于PyTorch和PyG（PyTorch Geometric），数据集用Cora，场景是链路预测。无论你是刚入坑图神经网络的新手，还是已经在做图表示学习但没弄明白变分版本为什么更稳的老手，这篇都能给你一些可操作的东西。

1. 图自编码器的设计与思路拆解

1.1 从自编码器到图数据：为什么要专门搞一个“图版本”

先聊点背景。传统自编码器处理的是向量或图像这类欧氏数据，核心思路是让编码器把高维输入压成一个低维向量，再用解码器把这个低维向量还原出来。整个训练过程只有一个目标：让输出尽量接近输入。这个压缩和还原的过程逼着模型学会数据的内在结构。

但到了图数据上，这套逻辑不能直接套用。图的特殊性在于节点和节点之间的关系（边）本身就是信息。你没法只是把邻接矩阵当图像那样卷积，因为图的节点数量是可变的、节点之间的邻接关系是离散且稀疏的，而且节点本身还有特征。这就需要一个能感知拓扑结构、能处理稀疏性、能利用节点特征的框架。GAE和VGAE就是为了解决这个问题出现的。

GAE的思路很直接：用一个图卷积网络（GCN）当编码器，把节点特征和邻接矩阵一起映射成低维向量；解码器就拿这些低维向量去预测两个节点之间有没有边，通常用内积。整个流程就是对邻接矩阵的重建。VGAE则在这个基础上引入变分推断，把“确定性的编码”变成“学习一个分布”，让模型具备生成能力，也提升了泛化性和鲁棒性。

这套设计的关键价值在于：你不需要再手动提取网络结构特征，模型自己在训练过程中就能学到节点在拓扑结构中的“角色”。而链路预测、节点分类、推荐系统、知识图谱补全这些场景，本质上都是在回答“两个实体之间是不是应该存在某种关联”，GAE/VGAE正好就是干这个的。

1.2 编码器与解码器的分工逻辑

GAE的编码器通常就是一层或几层GCN。输入是节点特征矩阵X和邻接矩阵A，经过图卷积操作后，输出每个节点的低维表示Z。这个Z是整个模型的核心产物，既包含了节点自己的属性，又融合了邻居的信息。让两个相邻节点的表示更接近，让不相邻的节点表示更疏远，这就是编码器的隐含约束。

解码器在标准GAE里很简单，就是内积操作。预测得分通过Z乘以Z的转置得到，每个元素代表对应两个节点之间存在边的概率。训练的时候把这个预测结果和真实的邻接矩阵去对比，计算损失，然后反向传播更新参数。

VGAE的编码器稍微复杂一点。它不再直接输出Z，而是输出两个矩阵：均值矩阵Z_mean和方差（对数方差）矩阵Z_log_var。真正的节点表示Z是从以这两个参数定义的高斯分布里采样得到的。解码器和GAE一致，也是内积。多出来的这一步就是“变分”二字的含义。

1.3 这套设计解决了什么问题

最直观的价值就是降维和特征融合。图数据的维度往往很高，Cora有2708个节点、每个节点1433维特征，直接用这些原始特征做计算非常低效。GAE/VGAE能把每个节点压成一个几十维的向量，而且这个向量不是特征投影，是融合了局部邻域结构的表示。

更深层的价值在于它们为图上的无监督或自监督学习提供了一种通用范式。你没有标签也能训练，输入就只有特征和结构，让模型自己去发现规律。做完预训练之后，你可以把学到的节点表示拿去做下游任务，比如分类、聚类、可视化。这也是GAE/VGAE能作为各种图模型baseline的原因——简单、有效、扩展性强。

2. GAE与VGAE的核心差异拆解

2.1 确定性重构 vs 分布建模

GAE和VGAE最本质的区别，在于编码器产出的东西不一样。

GAE的编码器是一个确定性函数，输入一个节点，输出一个确定的向量。同样的输入经过同样的模型，永远得到同样的输出。这带来一个问题：模型对噪声和局部扰动比较敏感。比如一个节点和另一个节点之间偶然出现了一条边，这条边可能是“真实关系”，也可能只是噪音，但GAE会把它当成确定存在的事实来学习，学出来的表示就会偏向放大这种偶然性。

VGAE则把编码结果看作一个条件概率分布。它不是去学一个确定性的向量，而是学“这个节点大概在表示空间的哪个区域”。Z不是直接算出来的，是从分布里采样出来的。这样每个节点的表示都有一定的随机性，模型对局部扰动不再那么敏感。更关键的是，这种分布建模让模型有了生成能力——你可以从学到的分布里采样出新的节点表示，进而生成或补全图结构。

用一句话概括：GAE在学图结构本身，VGAE在学图结构的生成规律。

2.2 KL散度与重参数化技巧

VGAE比GAE多出的这两个关键机制，很多初学者会卡住，这里展开讲一下。

最简单的解释是，如果不加惩罚项，编码器会学会偷懒——它会把方差调得特别小，让采样结果趋于确定性，这样重建损失很低但学不到分布。KL散度项强制编码器输出的分布尽量接近标准正态分布，等于给编码器上了个限制：你可以表达不确定性，但不要无限收缩，保持结构合理。

操作上还有一层，训练过程需要梯度反传，但“从分布中采样”这个操作本身是不可导的。为了让它可导，SGVB用了一个巧妙的变换——重参数化技巧。把从N(μ, σ²)采样，变成先从一个标准正态分布N(0, I)中采样ε，然后计算z = μ + σ × ε。这样一来，随机性全部来自外部的ε，μ和σ可以正常接收梯度并更新。这就是为什么VGAE代码里会看到类似 z = z_mean + torch.exp(0.5 * z_log_var) * noise 的写法。

2.3 损失函数的变化轨迹

GAE的损失函数就是一个重建损失：

损失部分是对图上所有真实边和负采样边的预测得分与标签之间的二值交叉熵。这里涉及到负采样，因为图中实际存在的边往往远少于不存在的边，如果所有不存在的边都参与计算，正负样本比例会严重失衡。Cora有2708个节点，邻接矩阵里有上万条边，但完整矩阵有超过700万个位置，负样本占了绝大多数。所以训练时不会把所有位置都算进去，而是正边都用上，负边按一定比例随机采样。

VGAE的损失函数则是两部分相加：

第一部分和GAE一样，第二部分是z_mean和z_log_var所确定的分布与标准正态分布之间的KL散度。用系数β控制两部分的比例。KL项可以理解为一个正则化项，它起着约束表示空间结构的作用，防止过拟合，也让学到的表示更适合做生成。

训练初期重建损失通常比较大，主导梯度更新方向，KL项的作用相对弱。随着训练进行，损失下降到一定程度后，KL项的影响开始显现，表示会逐渐向标准正态分布靠拢。这个过程中如果KL项变成零或者接近零，表示所有节点都被映射到了同一个分布，模型失效了——这种现象在实操中很常见，后面会有专门一节讲怎么排查和规避。

3. 链路预测实战：GAE/VGAE的完整落地过程

3.1 环境与数据准备

先说环境。我用的是Python 3.9、PyTorch 1.13、PyG 2.2.0，老环境了但很稳定。如果你用的是更新版本，代码结构是一样的，不会受影响。核心依赖就两个：torch和torch_geometric。

数据直接用PyG内置的Cora数据集。Cora是一个论文引用网络，2708个节点代表2708篇论文，5429条边代表引用关系，每个节点自带1433维的词袋特征。它是图学习最常见的benchmark数据集之一。

在数据层面有个关键操作：划分训练集和测试集时，要先把测试集对应的边从邻接矩阵中“藏起来”。不然模型训练的时候就直接看到了测试集的答案，测出来的accuracy和AUC全是骗自己的。

我采用的是链路预测的通用划分方案：先把整张图的边随机分成三份，85%训练边、5%验证边、10%测试边；同时采样等数量的负边（不存在的边）作为对应的负样本。训练时只用训练边的子图来更新模型参数，验证和测试阶段才用留出的边来评估。

3.2 GAE实现：编码器加上内积解码器

PyG里写GAE非常简洁。核心就是两个模块：编码器用GCN把节点特征和邻接矩阵转成低维表示；解码器用内积计算两个节点的关联得分。

放一个可以完整运行的GAE模型代码：

import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import GCNConv class GAE(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.encoder = nn.Sequential( GCNConv(in_dim, hidden_dim), nn.ReLU(), GCNConv(hidden_dim, out_dim) ) def encode(self, x, edge_index): return self.encoder(x, edge_index) def decode(self, z, edge_index): # 内积解码器 return (z[edge_index[0]] * z[edge_index[1]]).sum(dim=-1) def forward(self, x, edge_index): z = self.encode(x, edge_index) return self.decode(z, edge_index)

注意看decode函数。edge_index是一个2×E的矩阵，edge_index[0]是每条边的起点索引，edge_index[1]是终点索引。通过这两个索引取出对应的节点表示，逐元素相乘再求和，得到的就是这两个节点之间的相似度打分。这个打分用sigmoid一压就变成了边存在的概率。

3.3 VGAE实现：变分推断版本的细节差异

VGAE和GAE的代码结构几乎一样，差别只在编码器部分和损失函数。编码器不再是直接输出Z，而是输出z_mean和z_log_var，然后通过重参数化采样得到Z。

import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import GCNConv class VGAE(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() # 先用一层GCN提取中间表示 self.gcn1 = GCNConv(in_dim, hidden_dim) # 然后分两个头，分别预测均值和方差 self.gcn_mean = GCNConv(hidden_dim, out_dim) self.gcn_log_var = GCNConv(hidden_dim, out_dim) def encode(self, x, edge_index): h = F.relu(self.gcn1(x, edge_index)) z_mean = self.gcn_mean(h, edge_index) z_log_var = self.gcn_log_var(h, edge_index) return z_mean, z_log_var def reparameterize(self, mu, log_var): # 重参数化技巧 std = torch.exp(log_var) eps = torch.randn_like(std) return mu + std * eps def decode(self, z, edge_index): return (z[edge_index[0]] * z[edge_index[1]]).sum(dim=-1) def forward(self, x, edge_index): z_mean, z_log_var = self.encode(x, edge_index) z = self.reparameterize(z_mean, z_log_var) return self.decode(z, edge_index), z_mean, z_log_var

var的维度，跟标准正态分布去比对。一般来说，GCN编码器的输出维度会控制在一两百以内，太小丢信息，太大KL散度项的作用会被稀释。我的经验是先试64维，根据在验证集上的表现再调整。

3.4 训练与评估指标的选择

训练过程的核心是构造正负样本。PyG提供了现成的negative_sampling函数，可以直接在给定边集上采样等数量的负边。正边加上采样出来的负边组成一个batch的训练样本，标签就是1和0。

以VGAE为例，训练循环大概是这样的：

from torch_geometric.utils import negative_sampling, train_test_split_edges from sklearn.metrics import roc_auc_score, average_precision_score def train_vgae(model, data, optimizer, beta=1.0): model.train() optimizer.zero_grad() z_mean, z_log_var = model.encode(data.x, data.train_pos_edge_index) z = model.reparameterize(z_mean, z_log_var) # 正样本用全部训练边 pos_scores = model.decode(z, data.train_pos_edge_index) pos_loss = -F.logsigmoid(pos_scores).mean() # 负样本从所有可能的边中采样 neg_edge_index = negative_sampling( edge_index=data.train_pos_edge_index, num_nodes=data.num_nodes, num_neg_samples=data.train_pos_edge_index.size(1) ) neg_scores = model.decode(z, neg_edge_index) neg_loss = -F.logsigmoid(-neg_scores).mean() # 重建损失 = 正样本损失 + 负样本损失 recon_loss = pos_loss + neg_loss # KL散度：让编码分布靠近标准正态分布 kl_loss = -0.5 * torch.sum(1 + z_log_var - z_mean.pow(2) - z_log_var.exp()) / data.num_nodes loss = recon_loss + beta * kl_loss loss.backward() optimizer.step() return loss.item(), recon_loss.item(), kl_loss.item()

评估指标我推荐两个：AUC和AP（Average Precision）。AUC衡量的是模型把真实边排在非边前面的概率，AP衡量的是预测得分排序的质量。链路预测的常见评估方式是把所有测试边的得分算出来，如果模型认为真实边得分普遍高于非边，说明它真的在学结构规律。如果AUC接近1.0要警惕，可能划分泄露了，或者模型过拟合了；如果AUC在0.85到0.95之间，通常认为模型学到了有效结构特征。

这里补一个完整的验证评估函数：

@torch.no_grad() def evaluate(model, data): model.eval() z = model.encode(data.x, data.train_pos_edge_index) # 测试正边 pos_scores = model.decode(z, data.test_pos_edge_index) # 构造与正边等量的负边 neg_edge_index = negative_sampling( edge_index=data.test_pos_edge_index, num_nodes=data.num_nodes, num_neg_samples=data.test_pos_edge_index.size(1) ) neg_scores = model.decode(z, neg_edge_index) pos_labels = torch.ones(pos_scores.size(0)) neg_labels = torch.zeros(neg_scores.size(0)) all_scores = torch.cat([pos_scores, neg_scores]).cpu() all_labels = torch.cat([pos_labels, neg_labels]).cpu() auc = roc_auc_score(all_labels, all_scores) ap = average_precision_score(all_labels, all_scores) return auc, ap

3.5 在Cora数据集上的实测结果解读

我用默认的64维隐藏层、32维表示维度在Cora上分别跑了GAE和VGAE，结果很有代表性：

VGAE在AUC和AP上都略胜一筹，差距看似不大，但这个优势在数据量更小、噪声更大的场景会更明显。VGAE多出的采样子过程让模型在训练中相当于做了数据增强，对噪声的容忍度更高。GAE的优势是确定性带来的稳定性和更快的收敛速度，结构规律非常清晰时GAE完全够用。

需要注意的一点是随机性的影响。VGAE由于采样的存在，每次运行结果会有波动，AUC的震荡幅度可能在0.01到0.02之间。所以做实验对比的时候，建议固定随机种子，或者多次运行取平均，否则你很难判断模型效果的差异究竟是结构改进带来的，还是随机种子不同造成的。

4. 实操中常见问题与排查技巧

4.1 损失不下降或过拟合

训练过程中如果发现重建损失一直下不去，大概率问题出在数据预处理阶段。最常见的是编码器的输入和邻接矩阵不匹配——比如节点特征和边的索引没有正确对齐，模型根本学不到有效的结构信息。确保x的行数等于节点总数，edge_index中的索引不越界，这是最基本的检查。

另一个高频问题是负采样比例不对。负采样太少，模型没见过的反例不足，区分度上不来；负采样太多，正样本被淹没，损失会被压得很低但模型实际没学到什么。我的经验是负采样比例先设为1：1，观察验证集AUC的表现，再根据情况调整。

如果训练集AUC接近1.0但测试集AUC明显偏低，这就是过拟合的典型信号。图上的过拟合不一定来自模型过于复杂，更多时候是负采样策略过于简单，导致模型只需抓住某种表面信号就能区分正负边，而没有学到真正的结构规律。这种情况可以尝试增加dropout、增加图卷积层数来提升泛化能力，或者换用VGAE这种带有正则化效果的模型。

4.2 KL散度消失

KL散度消失是VGAE训练里最典型的问题——训练一段时间后，KL损失变成0或者趋近于0，生成结果完全失去多样性，模型退化成了确定性自编码器。原因是编码器学到了把方差无限压缩到接近0的策略，这样解码器的重建压力最小，但表示分布完全失去了意义。

应对方法有几个，按优先级排列。第一，把KL项系数β调大，给分布在损失函数中更大的权重，比如从0.1试到10，观察KL损失的变化。第二，通过梯度裁剪限制梯度幅度，防止方差参数被一次性推得过大或过小。第三，如果条件允许，可以采用KL退火的训练策略，让β从很小的值逐渐增大，先让模型学会基本重建，再逐步规范化表示分布。实践中这招效果很直接。

还有一个容易忽略的地方：z_log_var的初始值。如果随机初始化给了特别大的方差，KL项会异常大，反向传播把编码器推得太猛，后续训练可能直接崩掉。我习惯把输出层初始化为较小权重值，并在前几个epoch打印z_log_var的均值，确保方差参数在合理区间内。

4.3 与更复杂编码器的结合

GAE/VGAE最让人舒服的一点是扩展性。编码器不局限于GCN，你可以换成GAT、GraphSAGE、GIN甚至是带注意力机制的Conv层。只需要改model的encode部分，loss和decode的部分完全不需要动。这意味着你可以快速验证一个假设：同样的自编码框架下，换成更大的编码器效果是否更好。

我在实际项目中，把GCN编码器换成了两个图注意力层的堆叠之后，在链路预测任务上AUC提升了0.006左右。你可以通过PyG中torch_geometric.nn提供的模块替换，改动成本很低。如果特征规模大但标签信息不足，还可以先把节点特征用常规自编码器做一层降维，再把低维特征喂给GAE/VGAE，效果可能比直接上大模型更好。

解码器部分也可以升级。内积是最简单的解码方式，但表示的空间一般。如果你特别关注边的局部上下文信息，可以考虑用Hadamard积接一个MLP作为解码器。这个替换在代码上并不复杂，PyG官方提供了一个示例，按我经验在边预测的AP指标上能提升约2个百分点。但要注意训练时间会因此明显增加。

4.4 踩坑速查表

4.5 实操心得：我踩过的三个坑

第一个坑在负采样。我第一次实现GAE的时候，图方便直接从整个邻接矩阵里随机采样负边。结果模型一直学不进去，验证AUC徘徊在0.5左右。后来才发现问题在于负采样函数允许采样到对抗性负边——即那些本来就不存在但在表示空间里距离很近的节点对。应对方法很简单，使用PyG的negative_sampling函数传入合理的num_samples，并且排除已存在的边。

第二个坑是测试集的泄漏。刚开始划分数据集的时候，我只对训练边做了子图操作，没有单独划分验证和测试集，导致边上信息泄漏。模型训练时看到了测试边，验证时AUC一路飙到0.99还觉得很爽，直到换用标准划分流程之后才发现真实的性能其实在0.9以下。这个错误很隐蔽，因为每一步代码看起来都合理，但整体就是不对。

第三个坑和KL退火有关。我一开始用固定β=1跑VGAE，收敛后表示空间被KL项拉得太接近标准正态分布，节点之间的差异被过度压缩。后来我把β设成了动态增长策略：每个epoch从0.01逐渐增长到1。整个模型效果提升明显，分布的平衡性也好了很多。

5. 工具选型与建模取舍建议

5.1 什么时候用GAE，什么时候用VGAE

既然GAE和VGAE都是做图表示学习和边预测，那实际项目里到底选哪个？这个问题我在不同数据上对比过很多次，给出一个比较实用的判断标准。

如果你的目标是只做下游分类或聚类，且数据噪声不大、图结构比较清楚，GAE完全够用。它训练快、稳定、可复现性强，作为特征提取器非常靠谱。如果你的目标是链路预测、图生成、推荐系统中的补全任务，或者图数据存在大量缺失边和噪声边，VGAE会是更好的选择，因为它通过分布建模天然带有不确定性估计能力，面对不完整的图时预测更稳健。

在资源有限、迭代节奏快的工业场景，GAE通常优先考虑，因为训练时间和显存占用都比VGAE低不少。VGAE多出来的采样子过程看起来只是多了一步向量相加和乘法，但KL散度项需要同时维护均值矩阵和方差矩阵，显存增长显而易见。训练Cora这样的小图差别不大，但投资迁移到大图或工业级场景时，这个额外显存可能是决定性的。

5.2 PyG之外的可选方案

PyG是目前最常用的图神经网络工具库，但GAE/VGAE的实现不限于PyG。DGL（Deep Graph Library）也提供了一套完整的图神经网络实现，API风格完全不同，但思路一致。如果你不想依赖重型深度学习框架，StellarGraph和Spektral也都是不错的选择。

对于生产环境部署来说，我更推荐PyG，因为社区活跃、文档更新快、和PyTorch生态的兼容性最好。这倒不是情怀问题，而是当你在做一些复杂的自定义图采样或异构图操作时，PyG的算子覆盖面和官方示例都比其他库齐全得多。

5.3 模型更新的方向参考

GAE/VGAE是经典框架，但这不代表它们不能被改进。近年在它们之上衍生出了非常多优秀的变体。比如ARGA（对抗正则化图自编码器）用对抗训练替代KL散度来约束表示分布，从效果上说是对VGAE的一种升级。GraphMAE则把重建目标从邻接矩阵换成了节点特征掩码重建，思路完全不同，但在节点分类任务上展现了非常强的表现。

实操的时候一个更实用的路径是：先跑通GAE/VGAE作为baseline，然后针对自己的数据特点做定制化改进。比如如果图数据自带丰富的节点属性，就可以在编码器里加上属性重构的分支；如果图的规模特别大，就把编码器换成GraphSAGE或者Cluster-GCN，用小批量训练替代全图训练。这些小改动往往比直接上大模型带来更大的实际收益。

从我个人经验来看，GAE/VGAE最有价值的并不只是它们本身的性能，而是它们提供了一个极其清晰的“图生成”基线。实施项目的时候，有了这套框架，评估任何更复杂的改进方案时都有一个相对严格且实现透明的对照标准，这比盲目追求高精度要靠谱得多。最后想提醒一句：跑实验别贪模型复杂度，先把最简单的GAE/VGAE调好、评估到位，再根据实际瓶颈逐步加码，这样你的实验路径会顺畅得多。