法研杯2019相似案例匹配第二名方案：法律文本匹配的要素抽取与交互式精排

简介：这份资源是法研杯2019相似案例匹配赛道的第二名完整解决方案，面向从事自然语言处理、法律智能检索与司法AI应用的研究者和竞赛选手，用于复现高排名思路并理解法律文本相似度匹配的建模流程。压缩包共22个文件，约192KB，以Python源码为主，辅以Shell脚本、Dockerfile、Markdown文档及配置说明，覆盖模型训练、预测、评测与容器化部署等环节，目录结构清晰，便于按模块阅读与二次开发。方案围绕案例文本预处理、特征工程、深度学习语义建模与相似度预测展开，并附有数据集与项目文档，可帮助读者掌握从数据到模型评估的完整链路。目前已有266人学习下载，适合希望借鉴赛题方案、搭建法律案例匹配系统或进行司法AI实践的中高级开发者参考。

1. 法研杯2019相似案例匹配赛道：从赛题到第二名方案的全貌

2019年法研杯（CAIL2019）的相似案例匹配赛道，本质是一个法律领域的文本匹配任务：给定一个查询案情（query case），从候选案例库中找出与之最相似的案例。听起来像检索，但和通用检索不同，法律文本的相似性判断高度依赖法条援引、罪名认定、事实要素的对应关系，而不是简单的关键词重合。当年这个赛道吸引了大量队伍，最终拿下第二名的方案，核心思路是把「法律要素抽取」和「语义匹配」做了分层融合，而不是直接端到端丢进一个BERT。

这套方案能解决什么问题？如果你手上有大量裁判文书，需要做类案推荐、量刑辅助、或者给律师做相似判例检索，这套思路可以直接迁移。适合谁看：有一定NLP基础、想切入法律AI方向的工程师，或者正在做文本匹配但发现通用模型在法律领域效果不佳的从业者。数据集和文档是这套方案能复现的关键，后面会讲怎么用。

2. 相似案例匹配的技术选型：为什么不能直接套用通用文本匹配

2.1 法律文本的三个特殊性决定了模型架构

通用文本匹配任务，比如Quora Question Pairs或者SNLI，句子短、语义集中，一个BERT-base微调就能拿到不错的效果。但法律案情描述不一样。第一，长度差异极大，短的几十字，长的上千字，直接截断会丢关键事实。第二，法律语言有大量专业术语和固定表达，比如「被告人」「公诉机关指控」「经审理查明」，这些在通用预训练语料里出现频率低，BERT的原始词向量对它们表征不好。第三，相似性判断不是整体语义相似，而是关键要素的匹配——罪名是否一致、法条是否重叠、犯罪事实的核心动作是否对应。

我一般会先把案情拆成几个结构化字段：罪名、法条、事实摘要、判决结果。然后分别做匹配，最后加权融合。这样做的好处是每一路都可以单独调优，而且可解释性强——你能明确告诉用户「这两个案子相似是因为都涉及盗窃罪且法条援引一致」。

2.2 第二名方案的整体架构拆解

根据公开的技术方案文档，第二名队伍用的是「多路召回 + 精排」的框架。召回阶段用BM25和TF-IDF做粗筛，把候选集从几万降到几百。精排阶段用了一个双塔BERT结构，但输入不是原始文本，而是经过要素抽取后的结构化文本。具体来说，他们把案情中的「犯罪事实」段落单独抽出来，用BiLSTM+Attention做编码，然后和候选案例的对应段落做交互注意力计算。

这里有个关键设计：他们没直接用[CLS] token的输出做相似度，而是用了段落级的交互矩阵，再过一个CNN提取局部匹配特征。这个思路在2019年算是比较前沿的，比单纯的双塔余弦相似度效果好不少。代码结构上，核心模块大概长这样：

import torch import torch.nn as nn from transformers import BertModel class LegalCaseMatcher(nn.Module): def __init__(self, bert_path, hidden_size=768): super().__init__() self.bert = BertModel.from_pretrained(bert_path) # 交互层：计算query和candidate每个token之间的相似度矩阵 self.interaction = nn.Bilinear(hidden_size, hidden_size, 1) # 局部特征提取，kernel_size覆盖3-5个token的匹配片段 self.conv = nn.Conv1d(1, 32, kernel_size=3, padding=1) self.pool = nn.AdaptiveMaxPool1d(1) self.classifier = nn.Linear(32, 2) # 二分类：相似/不相似 def forward(self, query_ids, query_mask, cand_ids, cand_mask): q_out = self.bert(query_ids, attention_mask=query_mask)[0] # [B, Lq, H] c_out = self.bert(cand_ids, attention_mask=cand_mask)[0] # [B, Lc, H] # 交互矩阵：每个query token和每个candidate token的匹配分数 # 用广播机制计算，避免显式循环 B, Lq, H = q_out.shape Lc = c_out.shape[1] q_exp = q_out.unsqueeze(2).expand(B, Lq, Lc, H) c_exp = c_out.unsqueeze(1).expand(B, Lq, Lc, H) sim_matrix = self.interaction(q_exp, c_exp).squeeze(-1) # [B, Lq, Lc] # 对candidate维度做max pooling，得到每个query token的最佳匹配 sim_matrix = sim_matrix.max(dim=2)[0].unsqueeze(1) # [B, 1, Lq] conv_out = self.conv(sim_matrix) # [B, 32, Lq] pooled = self.pool(conv_out).squeeze(-1) # [B, 32] return self.classifier(pooled)

这段代码的核心逻辑是：不直接把两个句子的向量做余弦相似度，而是先计算token级别的交互矩阵，再用CNN提取匹配模式。参数上，hidden_size跟BERT-base保持一致是768，kernel_size=3是经验值，覆盖3个token的局部窗口，再大容易过拟合。Bilinear层的输出维度是1，表示每个token对的匹配分数。训练时用交叉熵损失，正负样本比例控制在1:3左右，负样本用BM25召回但不在正样本里的案例。

2.3 数据集怎么用：CAIL2019的格式和划分

CAIL2019相似案例匹配赛道的数据集，官方给的是JSON格式，每个样本包含query案例和三个候选案例，其中一个是正确的。数据划分上，训练集大概有5000组，验证集1000组，测试集不公开标签。实际用的时候，我建议把三个候选拆成三条独立样本，正样本一条，负样本两条，这样数据量直接翻三倍。但要注意，同一个query的三个候选之间不能跨集合划分，否则验证集指标会虚高。

文档里还提到了一个细节：他们额外用了CAIL2018的判决预测数据做预训练，把罪名分类和法条预测作为辅助任务。这个思路很实用，因为相似案例匹配的标注数据有限，辅助任务能帮BERT学到法律领域的表征。具体做法是在BERT后面接两个分类头，一个预测罪名（多分类），一个预测法条（多标签），训练几个epoch后再迁移到匹配任务上微调。

3. 从零复现第二名方案：环境、训练和调参的完整路径

3.1 环境搭建和依赖版本

这套方案基于PyTorch和HuggingFace Transformers，2019年的时候transformers库还叫pytorch-transformers，现在直接用新版就行。我建议的版本组合是：Python 3.8、PyTorch 1.10、transformers 4.12。不要用太新的版本，因为有些API变了，比如BertModel.from_pretrained的返回值结构在新版里有调整。安装命令：

pip install torch==1.10.0 transformers==4.12.0 pip install jieba # 中文分词，做BM25召回用 pip install rank_bm25 # BM25实现 pip install scikit-learn # 评估指标

数据准备阶段，先把官方JSON转成TSV格式，每行是query_text \t candidate_text \t label。注意法律文本里有大量换行和特殊符号，转的时候要做清洗：去掉HTML标签、统一全角半角、把连续空格压成一个。这些预处理看着琐碎，但不做的话BERT tokenizer会出各种奇怪的问题。

3.2 训练脚本的关键参数和调参经验

训练脚本的核心参数我列个表，这些都是血泪经验调出来的：

训练时用AdamW优化器，学习率调度用linear decay。验证集上的评估指标用MRR（Mean Reciprocal Rank），因为每个query有三个候选，模型输出相似度分数后排序，看正确案例排第几。MRR比准确率更细粒度，能反映模型的排序能力。

from transformers import AdamW, get_linear_schedule_with_warmup optimizer = AdamW(model.parameters(), lr=2e-5, weight_decay=0.01) total_steps = len(train_dataloader) * epochs scheduler = get_linear_schedule_with_warmup( optimizer, num_warmup_steps=int(0.1 * total_steps), num_training_steps=total_steps ) for epoch in range(epochs): model.train() for batch in train_dataloader: outputs = model(**batch) loss = outputs.loss loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) # 梯度裁剪防爆炸 optimizer.step() scheduler.step() optimizer.zero_grad()

梯度裁剪那行很重要，法律文本长度差异大，偶尔会有梯度爆炸的情况，不加裁剪训练会不稳定。clip_grad_norm_的阈值设1.0是经验值，设0.5会欠拟合，设2.0又容易震荡。

3.3 推理阶段怎么用：单条案情查相似案例

训练完之后，推理阶段要做两件事：建索引和查相似。建索引就是把候选案例库全部过一遍BERT，把[CLS]向量或者交互层的输出存下来。查相似的时候，把query也过一遍模型，然后算向量相似度。但注意，第二名方案用的是交互式匹配，不是双塔，所以不能预先算好候选向量——每次查询都要重新计算query和候选的交互矩阵。这在候选库大的时候很慢，他们的做法是先用BM25召回Top-100，再对这100个做精排。

def retrieve_similar_cases(query_text, candidate_pool, model, tokenizer, top_k=10): # 第一步：BM25粗筛，把候选从几万降到100 bm25_scores = bm25.get_scores(jieba.lcut(query_text)) top_indices = np.argsort(bm25_scores)[-100:][::-1] coarse_candidates = [candidate_pool[i] for i in top_indices] # 第二步：BERT精排 model.eval() scores = [] for cand in coarse_candidates: inputs = tokenizer(query_text, cand, max_length=256, truncation=True, padding='max_length', return_tensors='pt') with torch.no_grad(): logits = model(**inputs) score = torch.softmax(logits, dim=-1)[0][1].item() # 相似类别的概率 scores.append(score) # 返回Top-K ranked = sorted(zip(coarse_candidates, scores), key=lambda x: -x[1]) return ranked[:top_k]

这个流程里，BM25的召回率决定了上限，如果正确案例没被召回，后面精排再强也没用。所以BM25的k1和b参数要调，k1=1.5、b=0.75是通用值，但法律文本建议b=0.5，因为长文档里词频饱和更快。

4. 避坑指南：复现过程中最容易翻车的五个地方

4.1 现象：验证集MRR很高，测试集一塌糊涂

原因：数据泄露。CAIL2019的候选案例里，有些案例在训练集和验证集里都出现过，只是query不同。如果按样本随机划分，同一个案例可能既在训练集又在验证集，模型相当于见过答案。解决：按案例ID划分，确保同一个案例的所有query都在同一个集合里。这个坑当年坑了不少队伍，血泪经验。

4.2 现象：训练loss正常下降，但验证集指标不动

原因：学习率太大或者太小。2e-5是BERT微调的标准值，但如果你的数据量特别小（比如只有几百条），2e-5可能太大，模型还没学到东西就过拟合了。解决：数据量小于1000条时，学习率降到1e-5，同时增加warmup比例到0.2。反过来，数据量超过1万条，可以试试3e-5。

4.3 现象：模型对某些罪名完全失效

原因：类别不平衡。盗窃罪、危险驾驶罪这类案子在数据集里占大头，而一些罕见罪名样本极少，模型学不到有效表征。解决：在损失函数里加类别权重，或者用focal loss。更直接的办法是过采样罕见罪名的样本，但注意别过采样到过拟合。

4.4 现象：推理速度慢到无法接受

原因：交互式匹配的计算复杂度是O(Lq * Lc)，法律文本长度256，候选100个，每次查询要算100次256x256的交互矩阵，GPU也扛不住。解决：第一，把候选库的[CLS]向量预计算好，用双塔做粗排，只对Top-20做交互精排。第二，把max_seq_length从256降到128，大部分关键事实在前128个token里。第三，用混合精度推理，速度能快一倍。

4.5 现象：换一个数据集效果直接崩盘

原因：过拟合到CAIL2019的特定分布。法律文本的领域差异很大，民事和刑事的表述完全不同。解决：做领域自适应预训练，用目标领域的无标注文书继续训练BERT几个epoch。或者更简单，把模型最后两层解冻，用目标领域的小样本微调。

5. 进阶技巧：用对比学习提升相似案例匹配的区分度

第二名方案在2019年已经很强了，但如果放到现在，我会加一个对比学习的训练目标。核心思路是：让正样本对的向量表示更近，负样本对更远。具体做法是在BERT输出后面加一个投影头，把[CLS]向量映射到128维的空间，然后用InfoNCE损失训练。

class ContrastiveMatcher(nn.Module): def __init__(self, bert_path, proj_dim=128): super().__init__() self.bert = BertModel.from_pretrained(bert_path) self.projection = nn.Sequential( nn.Linear(768, 768), nn.ReLU(), nn.Linear(768, proj_dim) # 投影到低维空间算对比损失 ) self.temperature = 0.07 # InfoNCE的温度参数 def forward(self, query_ids, query_mask, pos_ids, pos_mask, neg_ids, neg_mask): q_vec = self.projection(self.bert(query_ids, attention_mask=query_mask)[0][:, 0]) p_vec = self.projection(self.bert(pos_ids, attention_mask=pos_mask)[0][:, 0]) n_vec = self.projection(self.bert(neg_ids, attention_mask=neg_mask)[0][:, 0]) # 归一化后算余弦相似度 q_vec = nn.functional.normalize(q_vec, dim=-1) p_vec = nn.functional.normalize(p_vec, dim=-1) n_vec = nn.functional.normalize(n_vec, dim=-1) pos_sim = torch.sum(q_vec * p_vec, dim=-1) / self.temperature neg_sim = torch.sum(q_vec * n_vec, dim=-1) / self.temperature # InfoNCE损失：正样本相似度越高越好，负样本越低越好 loss = -torch.log(torch.exp(pos_sim) / (torch.exp(pos_sim) + torch.exp(neg_sim))) return loss.mean()

温度参数0.07是SimCSE论文里的推荐值，我试过0.05和0.1，0.07在验证集上最稳。投影头的维度128比768效果好，因为低维空间里对比损失更容易优化。训练时正样本就是同一个query对应的正确案例，负样本用in-batch negatives——同一个batch里其他query的正样本，对当前query来说就是负样本。这样不用额外构造负样本，训练效率高。

验证对比学习效果的方法很简单：在验证集上算正样本对和负样本对的余弦相似度分布，如果两个分布重叠区域小，说明区分度好。我一般会画个直方图看，重叠超过30%就说明模型还没学好。这个技巧在数据量少的时候特别有用，因为对比学习不依赖大量标注，只需要正负对的关系。

最后说个习惯：每次跑完实验，我都会把验证集上预测错误的案例单独拎出来看，尤其是那些模型给了高分但实际是负样本的。十有八九能发现数据标注的问题，或者模型学到了不该学的捷径特征。这个习惯帮我省了很多次重新训练的时间。希望帮到你。

本文还有配套的精品资源，点击获取