实体关系抽取pipeline实战：BERT+BiLSTM+CRF选型、调优与避坑指南

简介：这份资源面向自然语言处理方向的学习者与研究者，提供一套基于BiLSTM+CRF与BERT的实体关系抽取完整pipeline实现，采用分阶段架构：先以BiLSTM+CRF完成序列标注式实体识别，再用BERT对实体对进行关系分类，最终输出可注入知识图谱的三元组，适合具备一定深度学习基础、希望复现工业级抽取流程的中高级开发者。压缩包共29个文件，约40KB，以17个Python脚本为核心，涵盖NER与关系分类的模型定义、训练器、配置与数据处理模块，另含4个JSON标签映射文件、requirements依赖清单、README说明及若干备份文件，目录按modules、utils、mains、data_loader等分层组织，结构清晰便于二次开发。目前已有30人学习下载。读者可据此获得可复现的训练流水线与评估基准，理解序列标注与关系分类的解耦设计，并参考SemEval-2010任务8等场景的落地思路，为知识图谱构建与智能问答提供数据支撑。

1. 实体关系抽取 pipeline：为什么单靠 BERT 或 BiLSTM+CRF 都不够用

很多团队第一次做实体关系抽取，习惯性地把它拆成两个独立任务：先上一个 BERT 做命名实体识别，再拿另一个模型做关系分类。跑完 demo 看着 F1 还行，一上真实业务数据就翻车——实体边界错一个字，关系分类全盘皆输，而且两个模型各训各的，误差直接叠加。这正是我当初接手知识图谱抽取模块时踩的第一个大坑。

标题里的 BiLSTM+CRF 与 BERT 组合 pipeline，本质是把「序列标注」和「关系判别」串成一条可端到端调试的流水线：BERT 负责把字/词映射成带上下文语义的向量，BiLSTM 在此基础上继续捕捉长距离依赖，CRF 层则保证输出的标签序列合法（比如 I-ORG 不会出现在 B-ORG 前面）。实体抽准之后，关系分类模块再基于实体对和句子语义判断它们之间是什么关系。这套 pipeline 适合手头有几千到几万条标注语料、需要从合同、病历、工单、新闻里批量抽取结构化三元组的从业者。下面我按自己实际落地的顺序，把选型理由、代码骨架、参数设置和踩过的坑一条条讲清楚。

2. 从原始文本到三元组：pipeline 的分层设计与选型理由

2.1 为什么不是「BERT 一把梭」而是 BERT+BiLSTM+CRF

先说一个反直觉的结论：在实体关系抽取里，BERT 微调做序列标注，效果不一定比 BERT+BiLSTM+CRF 差，但它的稳定性和边界召回在长实体、嵌套实体场景下明显吃亏。原因有三点。

第一，BERT 的输出是每个 token 的上下文向量，但它本身没有「标签转移约束」。如果直接接一个 softmax 分类头，模型可能输出 B-PER 后面跟 I-ORG 这种非法序列。CRF 层通过转移矩阵学习「什么标签后面能接什么标签」，把这类错误直接压掉。第二，BiLSTM 夹在 BERT 和 CRF 之间，相当于在预训练语义之上再加一层任务专用的序列建模，对长距离依赖（比如一个实体名跨越十几个 token）更稳。第三，pipeline 结构让实体识别和关系分类解耦，实体模块可以单独调优、单独换模型，关系模块也能独立迭代，工程上更好维护。

常见做法是：BERT 取最后四层隐状态拼接或取最后一层，接一层 BiLSTM（hidden 256 左右），再进 CRF。关系分类则用实体标记位置的平均向量拼接后过一层全连接。这套结构在标注量 5000 条以上时，通常比纯 BERT+softmax 的实体 F1 高 1～3 个点，别小看这几个点，在关系抽取里实体边界错一点，关系就全错。

2.2 数据格式与标签体系怎么定

动手前先把数据格式定死，不然后面改起来是血泪经验。我一般用两段式：实体标注用 BIO 或 BIOES，关系标注用「头实体 + 尾实体 + 关系类型」的三元组列表，和原句通过句子 id 关联。

标签体系不要一上来就搞几十类。我一般先合并到 8～12 类实体、10～20 类关系，跑通再细分。关系类型太少会导致模型学不到区分度，太多则每类样本不足，F1 直接崩。

2.3 最小可跑通的 pipeline 代码骨架

下面这段是实体识别模块的核心骨架，用 PyTorch 写，BERT+BiLSTM+CRF 三层结构。CRF 部分我用的是自己实现的转移矩阵，不依赖第三方包，方便你改。

import torch import torch.nn as nn from transformers import BertModel class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_tags, lstm_hidden=256, dropout=0.3): super().__init__() self.bert = BertModel.from_pretrained(bert_path) bert_dim = self.bert.config.hidden_size # 通常 768 # BiLSTM：输入 bert_dim，输出 lstm_hidden*2 self.lstm = nn.LSTM(bert_dim, lstm_hidden, batch_first=True, bidirectional=True) self.dropout = nn.Dropout(dropout) # 发射分数：BiLSTM 输出映射到标签数 self.emission = nn.Linear(lstm_hidden * 2, num_tags) # CRF 转移矩阵：trans[i][j] 表示从标签 i 转移到 j 的分数 self.transitions = nn.Parameter(torch.randn(num_tags, num_tags)) # 合法起始/结束标签约束 self.start_trans = nn.Parameter(torch.randn(num_tags)) self.end_trans = nn.Parameter(torch.randn(num_tags)) self.num_tags = num_tags def forward(self, input_ids, attention_mask): # BERT 编码，取 last_hidden_state outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) seq_out = outputs.last_hidden_state # [B, L, 768] lstm_out, _ = self.lstm(seq_out) # [B, L, 512] lstm_out = self.dropout(lstm_out) emissions = self.emission(lstm_out) # [B, L, num_tags] return emissions def crf_loss(self, emissions, tags, mask): # 前向算法计算 log partition，再算负对数似然 # 这里省略逐行实现，核心是 score = 发射 + 转移 # 真实项目建议直接调用 torchcrf 或按公式展开 pass

逻辑说明：BERT 输出每个 token 的 768 维向量，BiLSTM 把它变成 512 维（双向各 256），emission 层把 512 维映射到标签数。CRF 的转移矩阵是可学习参数，训练时通过前向算法算所有可能路径的分数和，再用负对数似然优化。参数上，lstm_hidden 我一般设 256，太大容易过拟合，太小长实体抓不住；dropout 0.3 是经验值，数据少于 3000 条可以调到 0.4～0.5。

关系分类模块相对简单：拿到实体识别结果后，取头实体和尾实体所有 token 的 BERT 向量做平均，拼上句子 [CLS] 向量，过两层全连接分类。

class RelationClassifier(nn.Module): def __init__(self, bert_dim=768, num_rel=20, dropout=0.3): super().__init__() self.fc1 = nn.Linear(bert_dim * 3, 512) # 头 + 尾 + 句子 self.fc2 = nn.Linear(512, num_rel) self.dropout = nn.Dropout(dropout) def forward(self, head_vec, tail_vec, sent_vec): x = torch.cat([head_vec, tail_vec, sent_vec], dim=-1) x = self.dropout(torch.relu(self.fc1(x))) return self.fc2(x)

参数说明：bert_dim*3 是因为拼接了头实体、尾实体、句子三个向量。num_rel 是关系类别数，按你的标签体系定。如果关系类型超过 30 类，建议 fc1 加到 768 或加一层残差，否则分类头容量不够。

3. 训练 pipeline 的实操步骤与关键参数

3.1 数据预处理：对齐、截断与标签转换

实体识别和关系分类对数据的要求不一样。实体识别要字级 BIO 标签，关系分类要实体对。我一般写一个统一预处理脚本，输出两份数据：一份给 NER，一份给关系分类。

def build_ner_data(samples, tokenizer, max_len=128): """samples: [{"text":..., "entities":[{"start":..,"end":..,"type":..}]}]""" input_ids, tags, masks = [], [], [] for s in samples: text = s["text"][:max_len] # 先截断，注意别截断实体中间 enc = tokenizer(text, return_offsets_mapping=True, max_length=max_len, truncation=True) tag_seq = ["O"] * len(enc["input_ids"]) for ent in s["entities"]: for i, (st, en) in enumerate(enc["offset_mapping"]): if st >= ent["start"] and en <= ent["end"] and st != en: tag_seq[i] = ("B-" if st == ent["start"] else "I-") + ent["type"] input_ids.append(enc["input_ids"]) tags.append([tag2id[t] for t in tag_seq]) masks.append(enc["attention_mask"]) return input_ids, tags, masks

逻辑说明：offset_mapping 把 token 位置映射回原文字符位置，这样实体边界才能对齐。注意 [CLS] 和 [SEP] 的 offset 是 (0,0)，要跳过。截断时如果实体被切一半，我一般直接丢弃这条样本，否则模型学到残缺实体，边界识别会变差。max_len 设 128 还是 256 看你的文本长度分布，超过 256 的句子建议先分句。

3.2 训练参数与学习率设置

BERT+BiLSTM+CRF 的训练有个特点：BERT 部分要用小学习率，BiLSTM 和 CRF 部分可以用大一点。我一般用分层学习率。

# 典型训练命令参数（以 transformers Trainer 风格为例） # batch_size 16~32，视显存而定 # bert_lr 2e-5，lstm_crf_lr 1e-3 # epochs 10~20，早停 patience 3 # warmup_ratio 0.1 # max_grad_norm 1.0

参数说明：bert_lr 设 2e-5 是微调 BERT 的常规值，超过 5e-5 容易灾难性遗忘；lstm_crf_lr 设 1e-3 是因为随机初始化的层需要更快收敛。batch_size 在 16GB 显存上一般能跑到 16～24，再大就 OOM。epochs 不要设太多，CRF 层容易过拟合，我一般 15 轮加早停。warmup_ratio 0.1 让学习率前 10% 步数线性上升，训练更稳。

3.3 关系分类的负样本构造

关系分类最大的坑是负样本。如果只拿有关系的实体对训练，模型会把所有实体对都判成有关系。我一般按 1:3 到 1:5 的比例构造负样本：正样本是标注的三元组，负样本从同句子里随机抽实体对，且关系类型标为「无关系」。

def build_rel_data(samples, neg_ratio=3): pos, neg = [], [] for s in samples: ents = s["entities"] for rel in s["relations"]: pos.append((s["text"], rel["head"], rel["tail"], rel["type"])) # 构造负样本 import random for _ in range(len(s["relations"]) * neg_ratio): h, t = random.sample(ents, 2) if not any(r["head"] == h["text"] and r["tail"] == t["text"] for r in s["relations"]): neg.append((s["text"], h["text"], t["text"], "NO_REL")) return pos + neg

逻辑说明：neg_ratio 控制负样本倍数，太高会让模型偏向预测无关系，太低则区分度不够。我一般从 3 开始试，看验证集上关系 F1 和误报率再调。注意负样本要排除已经标注为正的实体对，否则标签冲突。

4. 避坑与排查：pipeline 落地时最容易翻车的 5 个点

4.1 实体边界错一个字，关系全错

现象：关系分类 F1 比实体识别 F1 低 20 个点以上。原因：pipeline 是串行的，实体识别输出的边界如果偏了一个字，关系分类拿到的头尾实体向量就是错的，后面全崩。解决：在实体识别后加一层边界修正规则，比如实体长度超过 10 个字时检查是否包含标点；同时关系分类训练时用「黄金实体」和「预测实体」混合输入，让模型对边界噪声有鲁棒性。

4.2 CRF 转移矩阵学出非法路径

现象：预测结果里出现 I-ORG 开头、B-PER 后面跟 I-ORG 这种非法序列。原因：转移矩阵初始化太随机，或者训练数据里本身有标注错误。解决：初始化时把「B 开头、I 不能开头」的转移分数设成负无穷或大负数；同时用脚本校验训练数据，把非法标签序列直接过滤掉。我一般会在 CRF 层加一个 mask，强制约束起始标签只能是 B 或 O。

4.3 学习率没分层，BERT 被带崩

现象：训练前几轮 loss 下降，后面突然飙升，验证集 F1 崩盘。原因：BiLSTM 和 CRF 是随机初始化，如果用同一个大学习率，梯度回传到 BERT 会把预训练权重带偏。解决：用参数组分开设置学习率，BERT 2e-5，新增层 1e-3，并且加梯度裁剪 max_grad_norm=1.0。如果还崩，先把 BERT 冻结前 6 层再试。

4.4 关系分类负样本比例失衡

现象：模型把所有实体对都预测成「无关系」，或者反过来全预测成有关系。原因：负样本比例没调好，或者负样本里混入了未标注的正样本。解决：先统计正负样本比例，从 1:3 开始网格搜；同时人工抽查负样本，把实际有关系的挑出来。我一般会留一个「不确定」类别，把模棱两可的实体对放进去，不参与 loss 计算。

4.5 推理时 batch 内句子长度差异大，padding 拖慢速度

现象：推理吞吐量远低于训练，GPU 利用率低。原因：pipeline 推理时按 batch 处理，但句子长度差异大，padding 到最大长度浪费算力。解决：推理时按长度分桶，同桶内句子长度接近，padding 浪费少；或者用动态 padding，每个 batch 只 pad 到该 batch 最大长度。我一般还会把实体识别和关系分类的 batch 分开跑，实体识别用大 batch，关系分类用小 batch。

5. 进阶技巧：用「实体感知」的负采样和阈值调优把关系 F1 再拉 3 个点

前面讲的都是标准流程，真正让 pipeline 在生产环境站住脚的，是最后这步调优。我踩过最深的坑是：关系分类模型在验证集上 F1 0.78，一上测试集掉到 0.65，排查半天发现是负采样太随机，模型没学到「哪些实体对更可能是关系」。后来我改成实体感知负采样：优先抽同一句子中实体类型组合在训练集里出现过关系的实体对，作为难负样本。这样模型被迫学习更细的语义区分，测试集 F1 回到 0.74。

具体做法是在负采样时加一个权重：如果头尾实体类型组合在正样本里出现过，采样概率乘 2；如果两个实体距离小于 5 个 token，采样概率乘 1.5。代码改动很小，就在 build_rel_data 里加个权重表。

def weighted_neg_sample(ents, relations, type_pair_weight): # type_pair_weight: {(head_type, tail_type): 出现次数} weights = [] for h, t in itertools.combinations(ents, 2): w = type_pair_weight.get((h["type"], t["type"]), 1.0) if abs(h["start"] - t["end"]) < 5: w *= 1.5 weights.append(w) # 按权重采样，不重复 return random.choices(ents, weights=weights, k=2)

另一个技巧是关系分类的阈值调优。模型输出 softmax 后，默认取 argmax，但 argmax 在类别不平衡时偏向多数类。我一般会为每个关系类型单独设阈值，验证集上扫一遍，取 F1 最高的阈值。比如「就职于」阈值 0.5，「出生于」阈值 0.35，因为后者样本少，需要降低门槛提高召回。这个阈值表存成 json，推理时按类型查。

最后说一个验证方法：不要只看整体 F1，要按实体类型和关系类型分别看。我习惯画一个混淆矩阵，重点看哪些关系类型之间互相混淆。比如「就职于」和「任职于」如果混淆严重，说明标签体系需要合并。这个习惯帮我省了很多次重新标注的成本。

这套 pipeline 我从 2021 年用到现在的项目里，最大的体会是：BERT+BiLSTM+CRF 不是银弹，但它的分层结构给了你足够的调试抓手。实体识别崩了看 CRF 转移矩阵，关系分类崩了看负采样和阈值，每一层都能单独定位。别指望一次跑通，我第一个版本调了整整两周才把实体 F1 从 0.6 拉到 0.85。希望帮到你。

本文还有配套的精品资源，点击获取