基于BERT+BiLSTM+CRF的实体关系抽取pipeline实战与避坑指南-开发者社区

简介：这份资源面向自然语言处理方向的研究者与工程实践者，提供一套基于BiLSTM+CRF与BERT的实体关系抽取完整pipeline实现，采用分阶段架构：先以双向长短期记忆网络结合条件随机场完成实体识别，再借助BERT对目标实体对进行关系分类，最终输出可转化为知识图谱要素的三元组，适用于知识图谱构建、智能问答与语义搜索等场景。压缩包共29个文件，约40KB，以17个Python脚本为核心，辅以json配置与数据映射文件、zbak备份文件及README说明，涵盖模型定义、训练器、数据处理与部署预测等模块，目录划分清晰。目前已有30人学习下载。读者可获得可复现的训练流水线与评估基准，理解序列标注与关系分类的解耦设计，并参考模块化结构灵活替换组件，例如引入图神经网络增强关系推理，为自身实验提供可借鉴的工程范式。

1. 从一条标注烂掉的语料说起：BiLSTM+CRF 与 BERT 的实体关系抽取 pipeline 到底解决什么

去年接手一个医疗文本结构化项目，客户给了 8000 条病历标注，跑完第一版模型 F1 只有 0.61。翻标注一看，问题不在模型：同一句「患者服用阿司匹林后出现胃部不适」里，「阿司匹林」有时标成药物、「胃部不适」有时标成症状，但关系标签「药物-引起-症状」的指向在 30% 的样本里是反的。这就是实体关系抽取 pipeline 最真实的战场——它不是单模型调参，而是一条从「字符序列进」到「三元组出」的完整链路，任何一环塌了，后面全白搭。

这条 pipeline 的骨架是：BERT 做上下文编码，BiLSTM 补序列级依赖，CRF 约束标签转移合法性，最后接关系分类头输出 (头实体, 关系, 尾实体)。它适合谁？适合手上有几百到几万条标注语料、需要从合同、病历、工单、研报里批量抽结构化字段的团队。不适合零标注冷启动，也不适合实体边界极其规整的场景（那种用规则更快）。下面按「先立住原理、再跑通代码、最后避坑」的顺序拆开讲，每一步都给可抄的配置和参数。

2. 为什么是 BERT+BiLSTM+CRF 这个组合：三层各管一段

2.1 BERT 负责什么，不负责什么

BERT 的输出是每个 token 的上下文向量，它已经把「阿司匹林」和「胃部不适」的语义关联编码进去了。但 BERT 有个硬伤：它输出的是独立的 token 分类分数，不做标签序列的全局约束。也就是说，模型可能给「B-药物」后面直接接「I-症状」，这在实际标注体系里是非法转移。很多人以为 BERT 微调完就完事，结果 F1 卡在 0.7 上不去，根子就在这。

另一个常见误解是拿 BERT 的[CLS]向量直接做关系分类。[CLS]确实聚合了句级语义，但它对「哪两个实体之间是什么关系」这种局部对的判别力不够。正确做法是把头实体和尾实体的 span 向量拼起来，再过一层分类器。这一步在 pipeline 里叫「关系分类头」，和实体抽取是两套输出。

2.2 BiLSTM 补的是哪块短板

BERT 的 12 层 Transformer 已经能建模长距离依赖，为什么还要加 BiLSTM？两个原因。第一，BERT 的注意力是全局平摊的，对相邻标签的局部转移模式不敏感，BiLSTM 的前向/后向隐状态能把「上一个标签是什么」这个信息显式带进来。第二，在标注量少（几千条）时，BiLSTM 相当于一个轻量的序列平滑器，能压住 BERT 输出的抖动。

但要注意：BiLSTM 不是必须的。如果语料超过 5 万条，BERT 本身已经学得很稳，加 BiLSTM 反而增加参数量和过拟合风险。我一般会在验证集上对比「BERT+CRF」和「BERT+BiLSTM+CRF」两组，差 1 个点以内就砍掉 BiLSTM，推理快 30%。

2.3 CRF 层为什么不能省

CRF 的核心是一个转移矩阵，形状是 (标签数+2, 标签数+2)，多出来的 2 是 START 和 END。它做的是维特比解码，在所有可能的标签序列里找全局最优路径。举个例子，标签集是 {O, B-药物, I-药物, B-症状, I-症状}，CRF 会学到「B-药物 → I-症状」的转移分数极低，从而在解码时自动排除这种非法组合。

参数上，CRF 的转移矩阵是随机初始化后跟着一起训练的，不需要手工设。但有一个坑：如果标签体系里有 20 个以上的标签，转移矩阵会变得稀疏，需要适当增大lr或加 warmup。我一般把 CRF 的学习率设成 BERT 主干的 5～10 倍，让它更快收敛。

3. 用 PyTorch 把 pipeline 跑通：从数据到推理的最小实现

3.1 数据格式与标签对齐

输入数据统一成 JSON Lines，每行一条样本：

{"text": "患者服用阿司匹林后出现胃部不适", "entities": [{"start": 4, "end": 8, "type": "药物"}, {"start": 11, "end": 15, "type": "症状"}], "relations": [{"head": 0, "tail": 1, "type": "引起"}]}

注意start/end是字符级偏移，不是 token 级。BERT 的 tokenizer 会把「阿司匹林」切成多个 subword，所以需要写一个char_to_token的映射函数。这一步是血泪经验：偏移错一位，整个实体边界全歪，而且不会报错，只会让 F1 悄悄掉 10 个点。

def char_to_token_offset(offset_mapping, char_start, char_end): # offset_mapping 来自 tokenizer(return_offsets_mapping=True) token_start = None token_end = None for idx, (s, e) in enumerate(offset_mapping): if s <= char_start < e: token_start = idx if s < char_end <= e: token_end = idx return token_start, token_end

逻辑说明：遍历每个 token 的字符区间，找到覆盖char_start和char_end的 token 下标。参数上，offset_mapping必须用return_offsets_mapping=True拿到，且要跳过[CLS]和[SEP]（它们的区间是 (0,0)）。如果实体跨了[SEP]边界，直接丢弃这条样本，不要硬截断。

3.2 模型定义：BERT 主干 + BiLSTM + CRF

import torch import torch.nn as nn from transformers import BertModel from torchcrf import CRF class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_tags, lstm_hidden=256, dropout=0.3): super().__init__() self.bert = BertModel.from_pretrained(bert_path) self.dropout = nn.Dropout(dropout) self.bilstm = nn.LSTM( input_size=768, hidden_size=lstm_hidden, num_layers=1, bidirectional=True, batch_first=True ) self.classifier = nn.Linear(lstm_hidden * 2, num_tags) self.crf = CRF(num_tags, batch_first=True) def forward(self, input_ids, attention_mask, labels=None): outputs = self.bert(input_ids, attention_mask=attention_mask) sequence_output = self.dropout(outputs.last_hidden_state) lstm_output, _ = self.bilstm(sequence_output) emissions = self.classifier(lstm_output) if labels is not None: loss = -self.crf(emissions, labels, mask=attention_mask.bool(), reduction='mean') return loss else: return self.crf.decode(emissions, mask=attention_mask.bool())

逻辑说明：BERT 输出 768 维，BiLSTM 把它压到 256×2=512 维，再映射到标签数。CRF 的mask参数必须传，否则 padding 位置会参与转移计算，导致 loss 虚高。参数上，lstm_hidden我一般设 128～256，再大就过拟合；dropout在标注量小于 1 万时设 0.3～0.5，大于 5 万时降到 0.1。

3.3 训练循环与关键超参

from transformers import AdamW, get_linear_schedule_with_warmup optimizer = AdamW(model.parameters(), lr=2e-5, weight_decay=0.01) total_steps = len(train_loader) * epochs scheduler = get_linear_schedule_with_warmup( optimizer, num_warmup_steps=int(0.1 * total_steps), num_training_steps=total_steps ) for epoch in range(epochs): model.train() for batch in train_loader: loss = model(**batch) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step() scheduler.step() optimizer.zero_grad()

参数说明：lr=2e-5是 BERT 微调的经典值，CRF 层可以单独设lr=1e-3（用参数组）。clip_grad_norm_的max_norm=1.0是防梯度爆炸的后悔药，BiLSTM 层尤其容易炸。warmup比例设 0.1，让 CRF 的转移矩阵先稳定下来。batch size 在 16～32 之间，显存不够就用梯度累积。

3.4 关系分类头：把实体对喂进去

实体抽出来后，关系分类是第二个模型。输入是「头实体 span 向量 + 尾实体 span 向量 + 句向量」拼接：

class RelationClassifier(nn.Module): def __init__(self, bert_path, num_relations, dropout=0.2): super().__init__() self.bert = BertModel.from_pretrained(bert_path) self.dropout = nn.Dropout(dropout) self.classifier = nn.Linear(768 * 3, num_relations) def forward(self, input_ids, attention_mask, head_mask, tail_mask): outputs = self.bert(input_ids, attention_mask=attention_mask) seq = outputs.last_hidden_state head_vec = (seq * head_mask.unsqueeze(-1)).sum(1) / head_mask.sum(1, keepdim=True) tail_vec = (seq * tail_mask.unsqueeze(-1)).sum(1) / tail_mask.sum(1, keepdim=True) cls_vec = seq[:, 0, :] logits = self.classifier(self.dropout(torch.cat([head_vec, tail_vec, cls_vec], dim=-1))) return logits

逻辑说明：head_mask/tail_mask是实体 span 的 0/1 掩码，做平均池化得到实体向量。三个向量拼接后过线性层。参数上，num_relations包含一个「无关系」类，负样本比例控制在 1:3 左右，太多负样本会让模型偏向预测「无关系」。

4. 避坑与排查：5 个真实翻车现场

4.1 现象：训练 loss 正常下降，验证集 F1 始终 0.5 以下

原因：标签体系里有大量I-标签直接跟在O后面，CRF 转移矩阵学不出来，因为训练数据里这种非法转移的样本太少，转移分数没被压下去。解决：在数据预处理阶段做一次标签合法性校验，把非法序列的样本挑出来人工复核，或者在 loss 里加一个转移矩阵的正则项，惩罚非法转移的分数。

4.2 现象：推理时实体边界比标注多一个字符

原因：char_to_token_offset里用了<=和<混用，导致边界 token 被多算进去。解决：统一用左闭右开区间，s <= char_start < e和s < char_end <= e，并且对end做一次-1修正。这个 bug 不会报错，只能靠对比预测和标注的 span 发现。

4.3 现象：BiLSTM 层加进去后，显存直接爆了

原因：BiLSTM 的隐状态是(num_layers*2, batch, hidden)，如果batch=32、seq_len=512、hidden=256，中间激活值占用很大。解决：把batch降到 8，用梯度累积 4 步模拟 32；或者把lstm_hidden降到 128。另一个办法是冻结 BERT 的前 6 层，只训后 6 层加 BiLSTM。

4.4 现象：关系分类的 F1 比实体抽取低 20 个点

原因：关系分类依赖实体抽取的结果，如果实体边界错了，关系必然错。这是级联误差。解决：两个办法。一是做联合抽取，把实体和关系放在一个模型里输出；二是关系分类时用「金标准实体」训练，推理时用「预测实体」，并在训练时加入实体边界扰动做数据增强，让关系模型对边界错误鲁棒。

4.5 现象：换了一个领域的语料，模型完全失效

原因：BERT 的预训练语料和目标任务领域差异大，[CLS]向量漂移。解决：先用目标领域语料做 MLM 继续预训练，再微调下游任务。如果标注量太少，至少把 BERT 的最后 2 层解冻，用较小的学习率（1e-5）做领域适配。

5. 进阶技巧：用对抗训练和标签平滑把 F1 再抬 3 个点

5.1 对抗训练：给 embedding 加扰动

FGM（Fast Gradient Method）是最容易落地的对抗训练方式，只在 embedding 层加扰动，不改变模型结构：

class FGM: def __init__(self, model, epsilon=1.0): self.model = model self.epsilon = epsilon self.backup = {} def attack(self): for name, param in self.model.named_parameters(): if 'word_embeddings' in name and param.requires_grad: self.backup[name] = param.data.clone() norm = torch.norm(param.grad) if norm != 0: r_at = self.epsilon * param.grad / norm param.data.add_(r_at) def restore(self): for name, param in self.model.named_parameters(): if name in self.backup: param.data = self.backup[name] self.backup = {}

用法是在loss.backward()之后、optimizer.step()之前调用fgm.attack()，然后再算一次 loss 并 backward，最后fgm.restore()。epsilon设 0.5～1.0，太大反而掉点。这个技巧在标注量 5000～20000 时效果最明显，我实测能抬 2～3 个点。

5.2 标签平滑：压住 CRF 的过度自信

CRF 的负对数似然会让模型对正确路径过度自信，导致泛化差。标签平滑的做法是在计算 loss 时，把 one-hot 标签换成(1-ε)的正确标签加ε/num_tags的均匀分布。在 PyTorch 里可以自己改 CRF 的 loss 计算，或者用CrossEntropyLoss(label_smoothing=0.1)替换 CRF 的 emission 部分。注意：标签平滑和 CRF 的转移约束有轻微冲突，ε不要超过 0.1。