深度度量学习提升蛋白质二级结构预测：PSSM与三元组损失实践

简介：基于Python深度度量学习的蛋白质二级结构预测项目源码，适合生物信息学、机器学习方向学生作为课程设计或期末大作业参考。整套项目已获导师指导并取得97分高分，代码完整、开箱即用，无需修改即可运行。资源包共包含12个文件，以Python脚本为主（5个py），涵盖模型定义、数据集处理与训练流程；另有3个txt结果/说明文档、2个模型参数文件及2个编译缓存文件，压缩后大小43.75MB，结构清晰便于理解。目前已有129人学习下载。通过该资源可掌握深度度量学习在蛋白质结构预测中的实际应用，学习ResNet与Transformer编码器的实现思路，并可直接复用训练好的.pdparams参数进行预测或继续调优。

1. 蛋白质二级结构预测，为什么值得上一套“深度度量学习”

期末要交一份“基于python深度度量学习准确预测蛋白质二级结构源码”，如果你只是把BiLSTM加一个softmax头跑完，那其实跟“深度度量学习”四个字关系不大。我见过太多作业把PSSM矩阵滑窗之后直接喂给分类网络，效果卡在72%左右，换个蛋白就崩。反直觉的地方在于：二级结构预测的难点本质上不在分类，而在于让模型理解“同一类结构在表示空间中聚成一团”，这正是度量学习最擅长的事情。

把任务改写成“学一个嵌入空间，让H（螺旋）、E（片层）、C（无规卷曲）三类残基各自成簇”，再用这个嵌入做预测，验证集的Q3准确率通常能稳定提升1到2个百分点，换蛋白时的泛化差距也更小。这套方案适合期末大作业，也适合第一次接触蛋白质结构预测的人：只要装好python、PyTorch和数据集，两天内能完整跑通。下面按数据、模型、评估、踩坑四条线，把一份能直接复现的解法讲清楚。

2. 把序列变成度量学习能吃的样本：PSSM与滑窗的三个选择

蛋白质二级结构预测的经典输入不是序列本身的one-hot，而是PSSM（位置特异性打分矩阵）。原因很简单：同一段氨基酸序列在不同同源蛋白里可能折叠成不同结构，仅靠残基种类很难区分。PSSM每一行20个数值代表该残基在进化上对20种氨基酸的偏好，相当于把整个序列谱的进化信息揉进了每一个残基，预测上限会明显高出一截。期末数据集如果已经给好了每行20个分数的纯文本或.npy文件，用python标准库加numpy就能直接开工。

2.1 输入表示：PSSM矩阵为什么是默认选项

常见的PSSM文本文件是每行20个浮点数，行数等于序列长度。有的文件会在行首带残基名和序列号，解析时不要按列数写死，直接取最后20列最稳妥。如果数据集给的是.npy，一条np.load就够了，文本解析主要是为了兼容课程平台导出的格式。

import numpy as np def load_pssm(path): """读取文本型PSSM文件：每行前20个浮点数就是20种氨基酸的打分""" rows = [] with open(path, "r", encoding="utf-8") as f: for line in f: line = line.strip() if not line: continue parts = line.split() # 有些文件行首带残基名和序列号，取最后20列更稳 if len(parts) >= 20: rows.append([float(x) for x in parts[-20:]]) return np.array(rows, dtype=np.float32)

这段代码的关键在于容错：只取最后20列，避免被行首的残基名干扰；空行直接跳过。拿到手之后建议马上做一次归一化，因为不同PSSM的数值范围差异很大，有的打分在-11到14之间，有的在-7到9之间，不统一会让后续模型训练变成玄学。我会先按每个蛋白内部做z-score，也就是减掉该蛋白PSSM的均值再除以标准差，这样不同序列之间的输入量纲接近，训练曲线会平稳很多。

2.2 滑窗采样：窗口半径与边界填充的取舍

二级结构预测的基本单位是一个残基，但单个残基的信息量不够，必须带上下文。经典做法是以目标残基为中心，取左右各radius个残基组成窗口。常见radius是7，也就是窗口长度15；也有用8的，窗口17。窗口越大感受野越宽，但输入维度线性上涨，对期末这个小规模数据集来说，半径7到8已经足够。

def build_window_samples(pssm, labels, radius=7): """pssm: (L, 20), labels: (L,) 每个残基一个标签 返回 X: (L, radius*2+1, 20), y: (L,)""" L, D = pssm.shape pad = np.zeros((radius, D), dtype=np.float32) padded = np.concatenate([pad, pssm, pad], axis=0) X, y = [], [] for i in range(L): window = padded[i:i + radius * 2 + 1] X.append(window) y.append(labels[i]) return np.array(X), np.array(y)

边界补零是最省心的处理，不用额外判断。需要知道的是：补零之后模型会把“边界空位”当成一种特征，如果你的测试集里边界残基比例不高，影响不大；如果边界样本多，可以改成复制边界值而不是补零。窗口维度是L行乘(window, 20)，后续模型里可以直接当作形状为(L, window, 20)的张量用，不需要再展平。

2.3 标签压缩：DSSP 8态到3态不是简单删类

DSSP原始标注有8态，常见的课程作业会要求压成3态：H、E、C。映射规则并不只是“把不认识的删掉”，不同类别的归属会影响模型对边界结构的学习。比如I（310螺旋）和G（3-螺旋）都属于螺旋家族，B（孤立β桥）属于片层家族，T（转角）和S（弯曲）则通常归入无规卷曲。

DSSP_TO_3 = { "H": 0, "G": 0, "I": 0, # 螺旋 "E": 1, "B": 1, # 片层 "C": 2, "T": 2, "S": 2, " ": 2 } def collapse_labels(code_list): """把DSSP字符列表压缩成3类整数标签""" labels = [] for code in code_list: code = code.strip() labels.append(DSSP_TO_3.get(code, 2)) # 未知标识符归入C类 return np.array(labels, dtype=np.int64)

这里有个容易想当然的细节：遇到.get(code, 2)兜底时，要确认数据集里没有大量未知字符。有些数据集里缺残基会标记成X，如果一口气全归到C类，等于强行制造了一批C类样本，会把分类边界带偏。正确的做法是先统计每个字符的频次，未知字符占比低于1%再兜底；如果占比明显，就得查一下是文件解析问题还是数据本身缺残基，别让标签黑匣子拖垮整个实验。

3. 度量学习模型的最小可交付实现：嵌入网络加双头损失

数据准备好了，接下来是模型。期末大作业不需要上大模型，结构越可解释越好。我会用一个贴近经典PSIPRED思路的组合：一维卷积提取局部模式，双向LSTM捕捉窗口内残基依赖，最后池化成固定维度的嵌入向量。整个模型输出两个头：一个嵌入头用来算三元组损失，一个分类头用来算交叉熵。训练的时候两个损失一起优化，预测的时候用分类头，也可以只用嵌入空间做近邻查询。

3.1 基座网络：CNN加双向LSTM，期末大作业最省心的组合

选这个组合不是因为花哨，而是因为它对中小规模数据集很友好。CNN参数少、收敛快，LSTM能建模窗口内前后文关系，双向结构对残基上下文尤其重要。滑窗输入的形状是(batch, window, 20)，20是PSSM的氨基酸维度，CNN在窗口方向上做卷积，LSTM再在同一个方向上编码位置依赖。

import torch import torch.nn as nn import torch.nn.functional as F class MetricStructNet(nn.Module): def __init__(self, hidden=128, embed_dim=32, num_class=3): super().__init__() self.cnn = nn.Sequential( nn.Conv1d(20, 64, 3, padding=1), nn.ReLU(), nn.Conv1d(64, 64, 3, padding=1), nn.ReLU(), ) self.lstm = nn.LSTM(64, hidden // 2, batch_first=True, bidirectional=True) self.fc = nn.Linear(hidden, embed_dim) # 嵌入向量 self.classifier = nn.Linear(embed_dim, num_class) # 分类头 def forward(self, x): # x: (B, window, 20) h = self.cnn(x.transpose(1, 2)).transpose(1, 2) # (B, window, 64) h, _ = self.lstm(h) # (B, window, 128) h = h.mean(dim=1) # 窗口级均值池化 emb = self.fc(h) # (B, embed_dim) logits = self.classifier(emb) return emb, logits

核心参数是hidden和embed_dim。hidden控制LSTM的容量，128足够；embed_dim是嵌入向量维度，期末作业从32开始试，不要一上来就128，维度太高小数据集容易过拟合，t-SNE可视化时也会散成一团看不出簇结构。self.fc输出的嵌入向量会同时喂给三元组损失和分类头，分类头只在需要直接输出类别时使用。

3.2 三元组损失与batch-hard采样：别在损失函数上偷懒

深度度量学习的损失函数很多，期末作业最常写的三元组损失由anchor、positive、negative三个样本构成，目标是把同类样本之间的距离压小、异类样本距离拉开。但直接随机采样三元组有一个隐蔽的问题：大部分随机的三元组在训练初期就已经分得很开，loss非常小，梯度几乎为零，模型等于没学到东西。

batch-hard采样是更稳的做法：在每个batch内部，对每一个样本找出“最远的同类”作为困难正样本，找出“最近的异类”作为困难负样本，这样构造出的三元组始终是当前batch里最难的，梯度信号不会消失。

def batch_hard_triplet_loss(emb, labels, margin=0.5): """在batch内部构造最难三元组并计算triplet loss""" dist = torch.cdist(emb, emb, p=2) # (B, B) 两两距离 same = (labels[:, None] == labels[None, :]).float() same.fill_diagonal_(0) # 去掉自己 pos_dist = (dist * same).max(dim=1).values # 最远的同类 = 困难正样本 diff = (labels[:, None] != labels[None, :]).float() neg_dist = dist * diff + (1 - diff) * 1e6 neg_dist = neg_dist.min(dim=1).values # 最近的异类 = 困难负样本 loss = F.relu(pos_dist - neg_dist + margin).mean() return loss

理解这段代码的关键是距离矩阵：dist[i][j]表示第i个样本和第j个样本在嵌入空间里的欧氏距离。same矩阵标出哪些对是同类，乘到dist上后，max取到的是同类里最远的，让模型优先收缩最分散的簇；diff矩阵配合1e6掩码，让异类距离里取min时只看到真正的异类。margin设0.5起步，它的含义是“同类最远距离至少要比异类最近距离小0.5”，调参时这点必须记住。

3.3 训练骨架：交叉熵和三元组损失怎么配比

训练时两个损失一起优化，但配比不能随意。期末最容易犯的错是让三元组损失主导整个训练，结果分类头的精度一路掉。我一般把交叉熵作为主损失，三元组损失作为辅助约束，系数从0.3到0.5之间调。

optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=20) for epoch in range(30): model.train() total_loss = 0.0 for xb, yb in train_loader: xb, yb = xb.to(device), yb.to(device) emb, logits = model(xb) ce_loss = F.cross_entropy(logits, yb) metric_loss = batch_hard_triplet_loss(emb, yb, margin=0.5) loss = ce_loss + 0.5 * metric_loss optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step()

训练循环里的核心参数有两处：三元组损失权重0.5，以及margin=0.5。权重太大嵌入会被“拉开”主导，分类精度下降；权重太小度量学习的作用又不明显。一个可行的判断办法是：每轮打印ce_loss和metric_loss两个数值，如果metric_loss从0.1涨到0.5以上，说明margin或者权重过高，嵌入空间正在被拉扯得过散。

batch_size并不需要特别大，但至少要保证一个batch里每个类别都能出现。如果batch_size=64且E类占比过低，很可能一个batch里完全没有E类样本，batch-hard损失会失去困难负样本信号，这一点下一章展开讲。

4. 评估与调参：Q3之外还要看混淆矩阵和嵌入散点

很多同学训练完只看一个数字：验证集Q3。但Q3本身有盲区，尤其是在类别不平衡的场景下，模型把所有困难样本都判成C类，Q3可能还不低，但E类几乎全错。评估时要同时看三个东西：Q3作为总体水平，混淆矩阵看类别偏向，t-SNE看嵌入空间是否真的形成簇结构。

4.1 Q3、SOV、混淆矩阵：三个指标回答三个问题

Q3是残基级别准确率，只算预测对的比例，回答“总体对不对”；SOV是片段重叠分数，按连续结构片段计算，回答“整段结构预测得连不连续”；混淆矩阵回答“哪个类别被吃掉了”。期末答辩被追问时，能说出这三个指标的差异比只说“我的准确率是80%”有说服力得多。

def q3_score(y_true, y_pred): """计算残基级3类准确率""" y_true = np.asarray(y_true) y_pred = np.asarray(y_pred) correct = int((y_true == y_pred).sum()) return correct / len(y_true) def confusion_matrix(y_true, y_pred, num_class=3): mat = np.zeros((num_class, num_class), dtype=int) for t, p in zip(y_true, y_pred): mat[t, p] += 1 return mat

注意这里的混淆矩阵行是真值、列是预测值，看的时候按行看：某一行里非对角线上的数值大，就说明这一类的真实样本经常被误判到别的类。期末常见的情况是E行大量落在C列，说明模型把片层误判成了无规卷曲，这是类别不平衡和结构相似性共同作用的结果。

4.2 一套能直接落地的参数基线

第一次跑通不需要调太多东西，照着这套基线能在一个下午内出结果：radius=7，embed_dim=32，hidden=128，batch_size=256，margin=0.5，metric损失权重0.5，AdamW学习率1e-3，30个epoch。跑通之后再看验证集表现决定怎么调。

这里的“调参动作”不是拍脑袋，每一步都要以验证集为准。我会习惯把每次跑实验的margin、权重、Q3、E类召回率四个数字记成一行，对比起来非常直观，比调一次忘一次强太多。

4.3 可视化你的嵌入：t-SNE是度量学习的照妖镜

训练完之后一定要画一次t-SNE散点图。度量学习到底有没有生效，不是看loss，而是看H、E、C三类在嵌入空间里是否有清晰的簇结构。如果三个簇边界模糊、互相纠缠，说明三元组损失没有起到约束作用。

from sklearn.manifold import TSNE import matplotlib.pyplot as plt def scatter_embedding(emb, labels, path="embedding_tsne.png"): """把嵌入向量降到2维并画散点图，labels是整数标签""" emb_2d = TSNE(n_components=2, perplexity=30, random_state=42).fit_transform(emb) plt.figure(figsize=(7, 6)) plt.scatter(emb_2d[:, 0], emb_2d[:, 1], c=labels, s=2, cmap="tab10") plt.gca().set_xticks([]) plt.gca().set_yticks([]) plt.tight_layout() plt.savefig(path, dpi=150)

这段代码里有两个细节：perplexity=30不能大于样本数，期末如果残基样本太多，画之前随机抽2000个残基再投影；坐标刻度用set_xticks([])去掉，否则图的两边会密密麻麻都是数字，观感很像某些报告里堆出来的无效配图。判断标准很简单：H、E、C三类各自成团，边界样本少，说明度量学习真正在起作用。

5. 期末大作业最容易翻车的五个坑：现象、原因、解法

这套方案看起来简单，但每个环节都有隐藏坑。下面五条是期末做蛋白质二级结构预测时最高频的翻车现场，每一条都按现象、原因、解决的顺序写，你可以直接对照排查。

5.1 数据泄漏：按残基随机切分等于白做

现象：验证集Q3高达88%，但换一批新蛋白测试直接掉到60%以下，模型像被掏空。原因：很多人直接用train_test_split按残基随机划分，同一个蛋白的相邻残基窗口会同时出现在训练集和验证集里，窗口之间信息高度重叠，验证集分数虚高得离谱。解决：必须按蛋白ID划分，同一个蛋白的所有残基只能进一侧。数据预处理好之后，还要检查两个数据集的蛋白序列相似度，如果同一家族的同源序列被拆到两侧，还是会有轻度泄漏。期末数据量不大的话，这一步手动分组就能完成。

5.2 三元组采样崩溃：一个batch里全是同一类

现象：loss正常下降，但embedding散点图一团浆糊，t-SNE里三种颜色完全混在一起。原因：batch内随机采样时，如果某个batch里大量样本都是C类，batch-hard距离矩阵里正负样本对几乎全是同类，三元组损失退化成常数。解决：给DataLoader加一个按类别比例采样的Sampler，确保每个batch至少包含每个类别一定比例；或者在三元组损失计算前先打印每个batch的标签分布，如果出现单类batch，直接调大batch_size。

5.3 类别不平衡：H占一半，E类被扫进C类

现象：Q3有80%，但看混淆矩阵，E类召回率只有0.2，几乎所有片层都被判成无规卷曲。原因：二级结构3态分布本来就不均匀，E类占比通常最低，交叉熵损失会优先拟合占比最大类别。解决：在F.cross_entropy里传weight参数，按类别样本数的倒数设置权重；或者训练时用带权重的采样器，让E类每个epoch都出现足够的次数。注意，只看Q3永远不会发现这个问题，所以第4章的混淆矩阵一定别跳过。

5.4 PSSM归一化不一致：换一个蛋白损失就乱跳

现象：模型在蛋白A上收敛正常，换到蛋白B之后损失剧烈震荡，完全训不动。原因：不同PSSM文件的数值范围不一样，有的打分离散在-5到5，有的原始得分跨度到几十，模型会把PSSM的“绝对数值”当作特征，而不是学“相对偏好”。解决：滑窗之前按每个蛋白做z-score归一化，也就是减均值除以标准差，让所有PSSM矩阵的量纲统一。归一化统计量只能在蛋白内部计算，不能混着算，否则会引入跨序列的信息干扰。

5.5 margin选错：损失很小但指标不涨

现象：margin设成5，三元组损失很快就降到0.1以下，但Q3从头到尾纹丝不动。原因：margin太大，模型只需要把异类样本推到足够远就能满足约束，同类样本并没有被真正收缩到一起，嵌入空间的细粒度结构没有学出来。解决：先打印同类距离均值和异类距离均值，把margin设在这两个值差距附近，通常0.3到1.0之间就能工作。记住一条经验：三元组损失降到特别低不一定代表学得好，真正要看的是同类簇是否紧凑、异类是否可分。

6. 进阶技巧：不训练分类头，用嵌入空间加KNN完成预测

模型训完之后，有一个能让老师眼前一亮的验证方式：把分类头放到一边，只用嵌入空间做KNN预测。这个做法相当于在期末答辩时直接回答“你的度量学习到底学到了什么”。KNN不学习任何分类边界，它只依赖嵌入空间里的距离，如果H、E、C三类在嵌入空间里真的各自成簇，那么一个简单的最近邻查询就能做出相当精准的预测。

import torch def knn_predict(train_emb, train_labels, test_emb, k=5): """train_emb: (M, embed_dim), test_emb: (N, embed_dim) train_labels: (M,) tensor，返回每个测试样本的KNN预测标签""" dist = torch.cdist(test_emb, train_emb, p=2) # (N, M) _, topk_idx = dist.topk(k, dim=1, largest=False) neighbors = train_labels[topk_idx] # (N, k) pred, _ = neighbors.mode(dim=1) return pred

这段代码的关键在torch.cdist，它一次性算完测试嵌入与训练嵌入的欧氏距离矩阵，topk取距离最小的k个邻居，最后用mode取k个邻居里出现次数最多的类别作为预测结果。真正使用时要注意：train_labels必须是torch.Tensor，不能是列表；如果训练集有几万条嵌入，cdist矩阵会占用比较大内存，可以先随机抽5000个代表样本做邻居池。

你可以跑三组对比：第一组只用交叉熵训练；第二组用交叉熵加三元组损失；第三组用第二组的嵌入但换成KNN预测。通常第二组和第三组的Q3都能领先第一组，而第三组比第二组略高或者持平，这就能证明提升来自嵌入质量而不是分类头。最后一次导出嵌入时，记得把模型切到eval()模式关掉dropout，再用训练集的嵌入做KNN池。

我第一次做这个作业时，就是吃了随机切分残基的亏，调了一整天参数才发现问题在数据泄漏。所以你现在做完模型，先画一张嵌入散点图，再算一次按蛋白划分的Q3，这两个信号比终端里的loss诚实得多。希望帮到你。

本文还有配套的精品资源，点击获取