BERT中文NER实战：从BiLSTM-CRF到预训练微调的精度跃迁

简介：这份资源面向具备一定Python基础、希望入门或进阶自然语言处理的学习者，聚焦如何借助预训练BERT模型完成中文命名实体识别任务，解决从理论理解到代码落地的衔接问题。压缩包共9个文件，约3.72MB，以txt语料与词表、py训练脚本、pl评估脚本及md说明文档为主，另附示意图，覆盖数据、代码与评测环节。已有3346人学习下载，具备一定参考热度。内容围绕BERT双向编码器结构、MLM与NSP预训练任务、IOB标注体系及Precision/Recall/F1评估指标展开，并涉及Hugging Face Transformers库的模型加载与微调、中文分词与特殊令牌处理、序列填充、AdamW优化器与学习率调度等训练细节。读者可据此理解中文NER的完整流程，对照脚本完成数据预处理、模型训练与验证测试，并借助评估脚本检验效果，适合作为课程实践或项目练手的参考材料。

1. 中文 NER 的精度天花板：为什么 BERT 一上来就把 CRF 和 BiLSTM 按在地上

做中文命名实体识别的人，大多经历过从 BiLSTM-CRF 迁移到 BERT 的那一刻：同一份标注数据、同一套评测脚本，F1 从 0.78 跳到 0.91，改的只是把字向量换成了预训练模型的输出。这个跳跃不是玄学，它背后是「上下文表示」这件事被彻底重写了。传统做法里，每个字的语义要靠 Word2Vec 或随机初始化向量，再让 BiLSTM 从左到右、从右到左各扫一遍去拼上下文；而 BERT 在预训练阶段就已经用双向 Transformer 在亿级语料上把「字在句子里该是什么角色」这件事学进了参数里。换句话说，BiLSTM 是在你的小数据集上现学上下文，BERT 是带着上下文先验来微调。中文 NER 的难点恰恰在于边界模糊——「南京市长江大桥」里「南京」是地名还是「南京市长」是职位，靠局部窗口根本判不了，必须看全句。这就是为什么用预训练语言模型做中文 NER 值得单独拎出来讲透：它解决的不是「多加一层网络」，而是「让每个字的表示天生带全局信息」。搞懂这条主线，你才知道后面接 CRF 还是接线性层、学习率为什么要设那么小、为什么中文要按字切而不是按词切。

2. 从字到标签：BERT 中文 NER 的表示与解码链路

2.1 中文为什么按字切，而不是先分词再标注

英文 NER 天然以词为单位，中文却卡在一个老问题上：分词错误会直接传染给实体识别。如果先分词再标注，「南京市/长江大桥」分对了皆大欢喜，一旦分成「南京/市长/江大桥」，后面的模型再强也救不回来。按字切分则绕开了这个前置依赖——每个汉字就是一个 token，实体边界由标签序列自己决定。代价是序列变长、标签决策点变多，但对 BERT 来说这不算负担，因为它的位置编码和自注意力本来就能处理长序列。

常见的实现思路是：把句子拆成单字列表，用 BERT 的 tokenizer 转成 input_ids，注意中文 BERT 的词表基本是单字粒度，偶尔有少量多字词，所以tokenizer.tokenize("南京市")可能返回['南', '京', '市']，也可能把某些高频词整体保留。这里有个容易翻车的点：如果你的标签是按字对齐的，就必须保证 tokenizer 的输出长度和标签长度严格一致，否则后面-100掩码对不齐，loss 会算错。我一般会在数据预处理阶段加一道断言，长度不等直接抛异常，别等到训练中途才发现。

2.2 BERT 输出到标签：线性层与 CRF 的取舍

BERT 的最后一层给每个位置输出一个hidden_size维向量（base 模型通常是 768），接下来要把它映射到标签空间。最直接的做法是接一个Linear(768, num_labels)，每个位置独立做 softmax 分类。这种做法实现简单、训练快，但丢掉了标签之间的转移约束——比如 BIO 标注体系里I-PER前面不可能是O或B-LOC，独立分类可能产出非法序列。

于是就有了 BERT+CRF 的组合：线性层输出发射分数（emission score），CRF 层再学一个(num_labels, num_labels)的转移矩阵，解码时用 Viterbi 找全局最优路径。CRF 的价值在于把「标签序列的合法性」显式建模，尤其在实体边界处能纠偏。但它也有代价：解码是动态规划，训练时要算配分函数，速度比纯线性层慢一截，而且当数据量足够大、BERT 本身已经很强时，CRF 带来的增益可能只有零点几个点。

下面是一段典型的模型定义，把 BERT、dropout、线性层和可选的 CRF 串起来：

import torch import torch.nn as nn from transformers import BertModel from torchcrf import CRF class BertNer(nn.Module): def __init__(self, bert_path, num_labels, use_crf=True): super().__init__() self.bert = BertModel.from_pretrained(bert_path) hidden = self.bert.config.hidden_size # base 模型为 768 self.dropout = nn.Dropout(0.1) self.classifier = nn.Linear(hidden, num_labels) self.use_crf = use_crf if use_crf: # CRF 内部维护 (num_labels, num_labels) 转移矩阵 self.crf = CRF(num_labels, batch_first=True) def forward(self, input_ids, attention_mask, labels=None): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) seq_out = self.dropout(outputs.last_hidden_state) # [B, L, H] emissions = self.classifier(seq_out) # [B, L, num_labels] if labels is not None: if self.use_crf: # mask 为 1 的位置参与 loss 计算，padding 位被屏蔽 loss = -self.crf(emissions, labels, mask=attention_mask.bool(), reduction='mean') return loss else: loss_fn = nn.CrossEntropyLoss(ignore_index=-100) return loss_fn(emissions.view(-1, emissions.size(-1)), labels.view(-1)) else: if self.use_crf: # decode 返回最优路径，长度与 mask 有效位一致 return self.crf.decode(emissions, mask=attention_mask.bool()) return emissions.argmax(dim=-1)

这段代码里几个参数值得说清楚。attention_mask不只是给 BERT 用的，它在 CRF 里同样关键：mask=attention_mask.bool()告诉 CRF 哪些位置是真实字、哪些是 padding，配分函数和 Viterbi 都只在有效位上计算，否则 padding 位的随机标签会污染转移矩阵的学习。ignore_index=-100是纯线性层路线的对应机制，把 padding 位置的标签设成 -100，交叉熵直接跳过。reduction='mean'则是对 batch 内有效 token 求平均，避免长句主导梯度。如果你发现 loss 曲线抖动厉害，先检查这两个掩码有没有对齐，这是血泪经验里排第一的排查项。

2.3 标签体系与对齐：BIO 还是 BIOES

标签体系的选择直接影响边界精度。BIO 只有 B（实体开始）、I（实体内部）、O（非实体）三类，一个单字实体就是B-X后面直接跟O，模型很难区分「单字实体」和「多字实体的开头」。BIOES 多了 E（实体结束）和 S（单字实体），边界信息更明确，通常能带来一点 F1 提升，代价是标签数变多、数据稀疏处更难学。

对齐这件事在中文里尤其要小心。假设你的原始标注是词级别的，比如「北京/大学」整体标为ORG，转成字级别时「北」「京」「大」「学」四个字都要打上标签，BIO 下是B-ORG I-ORG I-ORG I-ORG，BIOES 下是B-ORG I-ORG I-ORG E-ORG。如果转换脚本写错，把词级标签直接按词数复制，就会出现长度错位。我一般会写一个独立的转换函数，输入是[(word, label), ...]，输出是逐字的(char, char_label)列表，转换完立刻用「标签序列长度 == 字符序列长度」做校验，再进 Dataset。

3. 微调阶段的训练机制：学习率、掩码与类别不平衡

3.1 为什么 BERT 微调要用极小的学习率

预训练模型的参数已经在海量语料上收敛到一个比较好的区域，微调时如果学习率太大，一次梯度更新就能把预训练学到的表示冲垮，出现「灾难性遗忘」——训练集 loss 降得很快，验证集 F1 却上不去甚至往下掉。常见的做法是给 BERT 主体设一个很小的学习率（比如 2e-5 到 5e-5），给新加的分类头设一个大一些的学习率（比如 1e-3），用参数分组的方式传给优化器。

from torch.optim import AdamW bert_params = list(model.bert.named_parameters()) head_params = list(model.classifier.named_parameters()) if model.use_crf: head_params += list(model.crf.named_parameters()) optimizer = AdamW([ {"params": [p for _, p in bert_params], "lr": 3e-5}, {"params": [p for _, p in head_params], "lr": 1e-3}, ], weight_decay=0.01)

这里weight_decay=0.01是 BERT 微调的常见配置，对预训练权重做轻微正则，分类头一般不受影响太大。学习率调度上，线性 warmup 加衰减是稳妥选择：前 10% 的步数把学习率从 0 线性升到目标值，之后线性降到 0。warmup 的作用是让分类头这个随机初始化的模块先「跟上节奏」，避免一开始就用大梯度冲击 BERT 主体。如果你跳过 warmup，前几百步的 loss 经常会出现一个尖峰，这不是模型坏了，是优化器太激进。

3.2 类别不平衡：O 标签占了九成怎么办

NER 数据里O标签通常占 85% 以上，实体标签稀疏。纯交叉熵训练时，模型倾向于把所有位置预测成O，准确率看着很高，F1 却惨不忍睹。缓解手段有几种：一是用 CRF，转移矩阵会隐式惩罚「全 O」路径；二是在 CrossEntropyLoss 里传weight参数，给稀有标签更高权重；三是调整评测指标，别只看 accuracy，盯住实体级别的 precision/recall/F1。

权重的计算可以按标签频率取倒数再归一化：

from collections import Counter import numpy as np counter = Counter() for labels in train_label_seqs: counter.update(labels) total = sum(counter.values()) num_labels = len(label2id) weights = [] for i in range(num_labels): freq = counter.get(i, 0) / total # 频率越低权重越高，加平滑避免除零 weights.append(1.0 / (freq + 1e-6)) weights = np.array(weights) weights = weights / weights.sum() * num_labels # 归一化到均值为 1 class_weights = torch.tensor(weights, dtype=torch.float)

这段逻辑的核心是「频率倒数加权」，1e-6的平滑防止某个标签在训练集里没出现导致除零。归一化到均值 1 是为了不让整体 loss 量级变化太大，影响学习率的相对效果。注意如果用了 CRF，这个 weight 就没法直接传给 CRF 的 loss，需要在发射分数上做文章，或者干脆靠转移矩阵和足够的数据来缓解，这也是 CRF 路线的一个隐性成本。

3.3 序列长度与批次：padding 带来的隐性浪费

中文 NER 句子的长度分布很不均匀，短句十几个字，长句可能上百字。按 batch 内最大长度 padding 会浪费大量算力在 padding 位上，而且 padding 越多，attention_mask的屏蔽逻辑越重要。常见的优化是按长度分桶（bucket），把长度相近的样本放一个 batch，减少 padding 比例。另一个细节是max_length的设置：中文 BERT 的位置编码上限通常是 512，超过要截断，但 NER 截断会丢实体，所以要么在预处理时把超长句切分成带重叠的片段，要么在推理时用滑动窗口再合并结果。切分时重叠几个字是为了避免实体正好落在切口上被劈成两半，合并时按标签置信度或按「完整实体优先」的规则去重。

4. 推理与评测：为什么你的 F1 和线上效果对不上

4.1 实体级评测：别用 token 级 accuracy 骗自己

训练时看的 loss 和 token 级准确率，跟业务关心的「实体识别对了没有」是两回事。一个实体由多个字组成，只要有一个字标签错，整个实体就算错。所以评测必须做「实体级」的抽取：把标签序列还原成(start, end, type)的集合，再和标注集合做精确匹配，算 precision、recall、F1。

def extract_entities(tokens, labels, id2label): entities = set() start = None ent_type = None for i, tag_id in enumerate(labels): tag = id2label[tag_id] if tag.startswith("B-"): if start is not None: entities.add((start, i - 1, ent_type)) start, ent_type = i, tag[2:] elif tag.startswith("I-") and start is not None and tag[2:] == ent_type: continue else: if start is not None: entities.add((start, i - 1, ent_type)) start, ent_type = None, None if start is not None: entities.add((start, len(labels) - 1, ent_type)) return entities

这段还原逻辑的关键在于「遇到 B 就收尾上一个实体、开启新实体」，遇到 I 要检查类型是否和当前实体一致，不一致说明序列非法，得按新实体或丢弃处理。BIOES 体系下还要额外处理 E 和 S，逻辑更细但边界更准。评测时把预测集合和真实集合做交集、差集，就能算出三个指标。我见过不少项目训练日志里 accuracy 0.98，一上实体级评测 F1 只有 0.6，问题就出在「O 太多把 accuracy 撑高了」。

4.2 后处理：把非法序列和碎片实体收拾干净

模型输出难免有非法序列，比如I-PER出现在句首、B-LOC后面跟I-PER。纯线性层路线尤其容易出这种问题，因为每个位置独立决策。后处理的第一步是「合法性修复」：扫描标签序列，遇到孤立的 I 就降级为 O 或升级为 B，遇到类型冲突就截断。第二步是「碎片合并」：同一个实体被切成相邻的两段，如果中间只隔一个 O 且类型相同，可以考虑合并，但这招有风险，可能把两个真实相邻实体错误合并，得看业务场景决定要不要开。

滑动窗口推理的结果合并也需要后处理。窗口之间有重叠区，同一个实体可能在两个窗口里都被识别出来，位置略有偏移。合并策略一般是「保留置信度高的那个」，或者「取并集后按 IoU 去重」。如果两个窗口给出的实体类型不一致，以置信度高的为准，同时记录冲突日志，方便回头分析模型在哪些边界上不稳定。

5. 避坑与排查：中文 BERT NER 落地时的五个真实翻车点

5.1 loss 不降或变成 NaN

现象：训练开始几步 loss 正常，随后突然变成 NaN，或者一直卡在某个值不动。原因通常是学习率过大冲垮了预训练权重，或者 CRF 的配分函数在极端分数下溢出。解决：先把 BERT 学习率降到 2e-5 试一轮，确认 loss 平稳后再往上调；CRF 路线可以在发射分数上加一个小的 clamp 或者用logsumexp的稳定实现；另外检查输入里有没有全 padding 的样本，全 mask 为 0 会让 CRF 计算出问题。

5.2 验证集 F1 远低于训练集

现象：训练集实体 F1 0.95，验证集只有 0.7。原因多半是过拟合加数据分布不一致，也可能是标签对齐在验证集上出了错。解决：先做一次「训练集自评测」，如果训练集自评测都不到 0.9，说明是欠拟合或代码 bug；如果训练集很高验证集很低，加 dropout、减小模型可训练层数（比如只微调最后几层）、或者扩充数据。别忘了检查验证集的标签转换脚本和训练集是不是同一套，血泪经验里「两套脚本标签 id 映射不一致」是经典翻车点。

5.3 实体边界总是差一个字

现象：实体类型判对了，但 start 或 end 偏移一个字，F1 上不去。原因可能是标签体系用 BIO 导致单字实体和实体开头混淆，也可能是 tokenizer 把多字词整体保留导致字级对齐错位。解决：换 BIOES 体系，显式建模单字实体和实体结束；检查 tokenizer 的tokenize输出和标签序列是否逐位对齐，必要时用is_split_into_words=True让 tokenizer 按预切分的字列表处理，再用word_ids()做对齐。

5.4 推理速度慢到无法上线

现象：单条推理几十毫秒甚至上百毫秒，QPS 上不去。原因可能是 batch size 为 1、没开torch.no_grad()、或者 CRF 的 Viterbi 解码在长序列上开销大。解决：推理时包with torch.no_grad():，按长度分桶做小批量推理；如果 CRF 是瓶颈且精度增益不大，评估一下换成线性层加后处理修复的收益；模型侧可以考虑蒸馏到小模型或者用 ONNX 导出加速，但导出前确认 CRF 层是否被支持。

5.5 换领域后效果断崖下跌

现象：在新闻语料上 F1 0.9，换到医疗或法律文本掉到 0.6。原因是预训练语料和领域语料分布差异大，实体类型和表达方式都变了。解决：最直接的是领域内继续预训练（continue pretraining），用领域无标注文本再跑一轮 MLM；其次是扩充领域标注数据，哪怕几百条也能显著改善；再不行就做数据增强，用词典替换、实体替换生成伪样本。别指望一个通用 BERT 打天下，领域适配这步省不掉。

6. 设计取舍：CRF 到底要不要，以及怎么验证你的选择

聊到最后，绕不开一个实际问题：BERT 后面到底接不接 CRF。我的判断框架是这样的——先看数据量和实体边界复杂度。数据量小（几千条以内）、实体边界模糊、标签体系复杂时，CRF 的转移约束能补上数据不足的短板，增益明显；数据量大（几万条以上）、实体结构简单时，BERT 本身已经学得够好，CRF 带来的零点几个点可能不值得它增加的解码开销和实现复杂度。下面这张表是我一般用来做决策的对照：

验证方法上，别凭感觉选。固定同一份数据、同一个随机种子、同一套评测脚本，分别跑纯线性层和 CRF 两版，对比实体级 F1 和推理延迟，算一下「每提升一个点 F1 要付出多少毫秒延迟」。如果业务对延迟敏感，而 CRF 只带来 0.5 个点，那就选线性层加后处理；如果实体边界是核心痛点，CRF 的合法性约束能省掉大量后处理规则，那就值得。还有一个中间路线：训练时用 CRF 学转移矩阵，推理时把学到的转移分数融进线性层做近似解码，兼顾速度和合法性，但这属于进阶操作，得先确认收益再投入。

我自己的习惯是，每次换标签体系或者换预训练模型，都强制走一遍「线性层 vs CRF」的对照实验，哪怕上次的结论是 CRF 更好，也不直接沿用——因为数据分布和模型版本一变，结论可能就翻了。这套流程帮我避过好几次「想当然沿用旧配置」的坑。希望帮到你。

本文还有配套的精品资源，点击获取