1. 当大模型开始翻专利库,检索员的饭碗还稳吗
过去大半年,我一直在折腾一件事:把专利检索这个活儿,尽可能交给多个大模型协同去做,然后拿结果跟人工检索做对照。起因很简单,身边做知识产权相关工作的朋友越来越多地问我同一个问题——现在这些模型这么能聊,能不能干脆把专利检索员替掉?问的人多了,我索性自己搭了一套多模型协同的检索流程,从关键词扩展、分类号定位、同族追踪到权利要求比对,一个环节一个环节地测,前后跑了小半年,攒了一堆数据和踩坑记录。
先把结论摆在前头,免得你看到最后才发现跟预期不符:AI在专利检索这件事上,能替掉的是"体力活",替不掉的是"判断活"。它能帮你把检索式扩到你想不到的角落,能在几分钟内扫完几千条摘要,能不知疲倦地做初筛;但检索的边界在哪、什么算现有技术、证据链怎么闭合、检索报告怎么写得让审查员和客户都认,这些仍然得人来拍板。这篇文章就是把这半年的实测过程、参数设置、协同架构、翻车现场和最终沉淀下来的工作流,完整地摊开讲一遍。
适合谁看?如果你是从业多年的专利检索员、企业IPR、代理师,或者只是对"多模型协同"这套玩法感兴趣的技术人,都能从里面找到能直接抄作业的部分。我会尽量把每个环节为什么这么设计、参数怎么算、坑在哪,都讲透。全文没有玄学,都是能复现的操作。
2. 多模型协同检索的整体架构与选型逻辑
2.1 为什么单模型不够用
一开始我也图省事,直接拿一个通用大模型从头查到尾。结果很快就发现问题:单一模型在专利检索上有明显的"检索式坍缩"倾向。什么意思?就是你让它扩展关键词,它翻来覆去就是那几个同义词,扩不出真正有价值的边缘术语;你让它读权利要求,它容易顺着你的提问方向"脑补",把没写的东西读成写了。
我做过一组对照:同一个技术主题,让单模型生成20组检索式,人工去重后有效扩展词只有7个左右;换成三个不同模型分别生成再合并,有效扩展词能到23个,而且覆盖了机械、化学、电学三个不同表述习惯的领域。这个差距在专利检索里是致命的,因为漏检一条关键对比文件,整个检索报告的价值就归零了。
所以架构上我最终定的是**"分工协同"而不是"投票表决"**。投票表决适合有标准答案的任务,专利检索没有标准答案,只有覆盖度和证据强度,所以让不同模型干不同的事,比让它们对同一件事投票更靠谱。
2.2 三层协同架构的搭建
我最终落地的架构分三层,每层职责清晰,模型之间通过结构化数据传递,不直接"聊天":
| 层级 | 职责 | 模型类型 | 输出形式 |
|---|---|---|---|
| 扩展层 | 关键词扩展、分类号推荐、同义术语挖掘 | 通用大模型A + 领域微调模型B | 结构化术语表 |
| 初筛层 | 摘要相关性打分、技术特征抽取 | 长文本模型C | 带分数的候选清单 |
| 比对层 | 权利要求逐项比对、技术特征映射 | 推理能力强的模型D | 特征对照表 |
这里有个关键设计:层与层之间不传递自然语言,只传递结构化字段。比如扩展层输出的是JSON格式的术语表,初筛层拿到的就是这张表去匹配,而不是让模型"理解"上一层的结论。这么做的好处是每一层的输出都可审计、可回溯,出了问题能定位到具体是哪一层、哪个模型、哪个参数导致的。
提示:不要图省事让模型之间用自然语言对话传递结果。我试过,模型会互相"带偏",第二层会顺着第一层的措辞去理解,错误会被放大而不是被纠正。
2.3 模型选型的三个硬指标
选模型不是越贵越好,也不是参数越大越好。我实测下来,专利检索场景看三个硬指标:
第一是长文本稳定性。专利摘要加权利要求动辄几千字,模型读到后半段还能不能记住前面的技术特征,这个差别巨大。我测过几个模型,有的读到第三段就开始丢特征,有的能撑到全文。测试方法很简单:给一段5000字的权利要求,中间埋一个不显眼的限定条件,看模型最后总结时有没有带上。
第二是术语忠实度。专利里很多词是"生造"的,比如某个特定结构的命名,模型不能自作主张给它换成通用词。我测的方法是给一批含生造术语的文本,看模型改写时保留原词的比例。低于85%的,直接淘汰。
第三是拒答能力。这个最容易被忽略。好的检索模型在证据不足时应该说"无法判断",而不是硬编一个结论。我专门设计了一批"陷阱题",就是文本里根本没有对应技术特征,看模型会不会硬凑。拒答率高的模型,在比对层反而更可靠。
3. 关键词扩展与分类号定位的实操细节
3.1 检索式扩展的"三模型交叉法"
关键词扩展是专利检索的命门。人工扩展靠的是经验和对领域的熟悉,模型扩展靠的是语料覆盖。我的做法是三模型交叉法:让三个不同来源的模型分别做扩展,然后取并集,再人工过一遍。
具体操作上,我给每个模型的提示词是固定的,但要求它们从不同角度扩展:
- 模型A:从功能角度扩展,比如"紧固"要扩出"连接、固定、锁合、卡接"等
- 模型B:从结构角度扩展,比如"螺纹"要扩出"螺牙、螺旋、外螺纹、内螺纹"等
- 模型C:从应用场景角度扩展,比如"散热"要扩出"导热、降温、热管理、温控"等
三个角度交叉,覆盖度比单一角度高出一大截。实测一个机械领域的检索主题,人工扩展出15个术语,三模型交叉扩出41个,去重后有效新增19个,其中3个是人工完全没想到但确实命中了对比文件的。
这里有个参数要调:扩展的"发散度"。太收敛扩不出东西,太发散全是噪音。我的经验值是每个原始术语扩展出5到8个候选,超过10个基本就是噪音了。这个值可以通过提示词里的"最多给出N个"来控制,实测5到8之间命中率最高。
3.2 分类号定位的辅助逻辑
专利分类号(比如IPC、CPC)的定位,模型能帮上忙,但别指望它直接给准。我的用法是让模型推荐候选分类号,然后人工去分类表里核对。
模型推荐分类号的逻辑是:给它技术主题描述,让它输出最可能的3到5个分类号,并说明理由。实测下来,模型给的第一个分类号命中率大概六成,前三个里命中的能到八成。这个水平作为"辅助"是够用的,作为"替代"远远不够。
我踩过的一个坑:模型会推荐一些"看起来对但实际是上位"的分类号。比如一个具体到某类连接件的主题,模型推荐了大类,人工一看就知道应该往下钻两三级。所以分类号这块,模型负责缩小范围,人负责精确定位,这个分工不能乱。
注意:分类号版本会更新,模型训练数据里的分类号可能已经过时。核对时一定要用最新的分类表,别直接信模型给的号。
3.3 术语表的清洗与去重
三模型交叉出来的术语表,直接拿去检索会有一堆噪音。我的清洗流程分三步:
第一步是去重合并,把三个模型输出的同义术语合并成一条,标注来源。第二步是噪音剔除,把明显不相关的、过于宽泛的术语删掉,比如"装置""设备"这种词。第三步是权重标注,给每个术语标一个优先级,核心术语权重高,边缘术语权重低,检索时按权重分配资源。
这个清洗过程我一开始想全交给模型做,后来发现不行。模型去重时会把一些"近义但不等价"的术语合并掉,比如"卡接"和"插接"在某些领域是两回事,合并了就漏检。所以去重可以交给模型,等价性判断必须人工。
4. 初筛与比对环节的模型协同实现
4.1 摘要相关性打分的参数设置
初筛环节,我让长文本模型对每条候选专利的摘要做相关性打分,分值是0到10。这个打分不是让模型"感觉"一下,而是给了明确的评分维度:
- 技术领域匹配度(0-3分)
- 技术问题相似度(0-3分)
- 技术手段重合度(0-4分)
三个维度加起来是满分10分。实测下来,7分以上的候选,人工复核后确认相关的比例能到七成;5到7分之间的,相关比例三成左右;5分以下的基本可以放掉。这个阈值不是拍脑袋定的,是我拿200条已知结果的样本跑出来的。
这里有个细节:打分要分批做,不能一次性把几千条丢给模型。模型的注意力是有限的,一次给太多,后面的打分质量会下降。我的做法是每批50条,批与批之间让模型"清空"上下文,重新开始。这样虽然慢一点,但稳定性好很多。
4.2 权利要求逐项比对的映射方法
比对环节是整个流程里最考验模型能力的部分。我的做法是把目标权利要求拆成独立的技术特征,然后逐条去候选专利里找对应。
具体操作是:先把权利要求按"其特征在于"之类的标志拆成特征项,每个特征项单独成行;然后让推理模型对每个特征项,在候选专利文本里找"相同、等同、缺失"三种状态,并给出原文依据。
这里的关键是要求模型给出原文引用。不给引用的比对结果一律不采信。我试过让模型只给结论,结果它经常"脑补"出原文里没有的特征。强制要求引用原文后,幻觉率明显下降,因为模型得先找到那句话才能下结论。
比对结果我整理成一张特征对照表,长这样:
| 目标特征 | 候选专利对应内容 | 状态 | 原文位置 |
|---|---|---|---|
| 特征1 | 对应描述 | 相同 | 权利要求1第3行 |
| 特征2 | 无对应 | 缺失 | - |
| 特征3 | 近似描述 | 等同 | 说明书第5段 |
这张表是后续人工判断的基础,也是检索报告的核心素材。
4.3 证据链闭合的人工复核点
模型跑完比对,不等于证据链就闭合了。证据链闭合必须人工复核,这是底线。我复核时重点看三个地方:
一是等同特征的认定。模型说"等同",但等同的认定是有严格标准的,不是"看起来差不多"就行。模型给的等同判断,我基本都会重新过一遍。
二是缺失特征的确认。模型说"缺失",有可能是它没找到,而不是真的没有。我会针对缺失的特征,再单独做一次定向检索,确认是不是漏了。
三是时间边界。专利检索有严格的时间要求,对比文件必须在申请日之前公开。模型有时候会忽略这个时间维度,把申请日之后的文献也拉进来。这个必须人工卡。
提示:模型对日期的处理经常出错,尤其是不同格式的日期。我建议在初筛阶段就把日期字段单独抽出来,用规则引擎过滤,别让模型去判断时间先后。
5. 效率实测:多模型协同到底快了多少
5.1 测试样本与对照设计
为了搞清楚多模型协同到底能提多少效率,我设计了一组对照测试。样本是三个技术领域(机械、电学、化学)各10个检索主题,每个主题分别用三种方式做:
- 方式一:纯人工检索,由有经验的检索员完成
- 方式二:单模型辅助,人工用单模型做扩展和初筛
- 方式三:多模型协同,按我上面这套架构跑
记录每个方式的耗时、检索到的对比文件数量、以及人工复核后确认的有效对比文件数量。
5.2 效率数据与解读
测试结果整理成表:
| 方式 | 平均耗时 | 平均候选数 | 有效对比文件数 | 漏检率 |
|---|---|---|---|---|
| 纯人工 | 4.5小时 | 38 | 6.2 | 基准 |
| 单模型辅助 | 2.8小时 | 52 | 5.8 | 略高 |
| 多模型协同 | 1.9小时 | 71 | 7.1 | 略低 |
数据解读有几个点值得说:
耗时上,多模型协同比纯人工快了约58%,这个提升主要来自初筛环节。人工筛100条摘要可能要一小时,模型几分钟就出结果,人只需要复核高分的那部分。
候选数上,多模型协同明显更多,说明扩展环节确实扩出了人工没想到的术语。但候选多不代表有效多,关键看有效对比文件数。
有效对比文件数上,多模型协同略高于纯人工,漏检率略低。这个提升幅度不大,但方向是对的。说明模型在"找全"这件事上,确实能补人工的盲区。
单模型辅助反而漏检率略高,这个结果我一开始没料到。后来分析发现,单模型的扩展太收敛,导致检索式覆盖不够,反而漏掉了一些边缘文献。这再次印证了多模型交叉的必要性。
5.3 效率提升的边界在哪
效率提升不是无限的。我实测下来,多模型协同的效率天花板大概在纯人工的2.5倍左右,再往上就很难了。原因是初筛之后的比对和复核环节,人工介入的比重很大,这部分时间压不下去。
而且效率提升跟技术领域强相关。机械领域提升最明显,因为术语相对规范,模型扩展质量高;化学领域提升最小,因为很多化合物命名和结构描述模型处理不好,人工介入多。所以别指望一套参数打天下,不同领域要单独调参。
6. 证据边界:AI检索的可靠性红线
6.1 幻觉在专利检索里的具体表现
模型幻觉在专利检索里不是"偶尔说错话"这么简单,它会直接导致检索结论错误。我遇到过的典型幻觉有几种:
一种是虚构对比文件。模型会编出一条看起来很像的专利,有编号、有申请人、有摘要,但去数据库一查根本没有。这种最危险,因为不核实就会写进报告。
一种是张冠李戴。把A专利的技术特征安到B专利头上,或者把说明书里的内容说成是权利要求里的。这种比较隐蔽,需要逐条核对原文。
还有一种是过度概括。模型把一条具体的技术方案概括成一个上位的概念,然后说"这覆盖了目标特征"。这种在等同判断里特别常见,危害也大。
6.2 证据强度的分级标准
为了控制风险,我给模型输出的每条证据都标了强度等级:
| 强度等级 | 判定标准 | 使用建议 |
|---|---|---|
| A级 | 有明确原文引用,特征完全对应 | 可直接采用 |
| B级 | 有原文引用,特征部分对应 | 需人工确认 |
| C级 | 无原文引用,仅模型判断 | 必须人工核实 |
| D级 | 模型无法给出依据 | 不采用 |
这套分级用下来,最大的好处是把"模型说的"和"有据可查的"分开了。C级和D级的证据,我基本不会直接写进报告,必须人工补证。
6.3 什么情况下必须人工兜底
有几类情况,我现在的做法是一律人工兜底,不让模型单独下结论:
第一是涉及法律判断的,比如新颖性、创造性的最终认定。模型可以给参考,但结论必须人来做。
第二是涉及边界模糊的等同特征。等同的认定标准很细,模型经常把握不准。
第三是涉及多篇文献组合的。模型处理单篇比对还行,多篇组合的创造性判断,它容易乱。
第四是检索报告的法律措辞。报告是要给客户和审查员看的,措辞必须严谨,模型写的初稿我基本都会重写一遍。
注意:别被模型的"自信语气"骗了。模型说"毫无疑问"的时候,往往正是它最没底的时候。证据强度看的是原文引用,不是语气。
7. 常见问题与排查技巧实录
7.1 扩展环节的典型问题
问题一:扩展词全是同义词,没有真正的边缘术语。
这个通常是提示词太"安全"导致的。解决办法是在提示词里明确要求"给出至少3个不常见的、跨领域的表述",逼模型跳出舒适区。我实测加了这个要求后,边缘术语的比例从不到10%提到了30%左右。
问题二:不同模型扩展结果高度重合。
说明模型来源太单一。解决办法是选不同训练数据来源的模型,比如一个偏学术语料、一个偏专利语料、一个偏通用语料。来源不同,扩展角度才会不同。
问题三:扩展词里混入大量噪音。
这个靠清洗流程解决。我的经验是噪音比例超过40%就要回头调提示词,正常应该控制在20%以内。
7.2 初筛环节的排查思路
初筛环节最常见的问题是打分虚高,就是模型给一堆不相关的也打高分。排查思路是:
先看评分维度是不是太宽泛。如果"技术领域匹配"这一项给分太松,整体分数就会虚高。可以把这一项的权重调低,把"技术手段重合度"的权重调高。
再看是不是批次太大。前面说过,一次给太多条,后面的打分质量会下降。缩小批次试试。
最后看是不是提示词里没有"负面示例"。给模型几个明确不相关的例子,让它知道什么算低分,能有效压低虚高。
7.3 比对环节的避坑清单
比对环节的坑最多,我整理成一张速查表:
| 现象 | 可能原因 | 排查动作 |
|---|---|---|
| 特征对应全是"相同" | 模型过度匹配 | 检查是否要求了原文引用 |
| 特征对应全是"缺失" | 模型没读懂 | 检查文本是否超长被截断 |
| 等同判断过多 | 等同标准太松 | 人工复核所有等同结论 |
| 日期判断错误 | 模型不擅长日期 | 用规则引擎单独过滤日期 |
| 多篇组合混乱 | 模型处理不了 | 多篇组合一律人工做 |
这张表我贴在工位上,每次比对出问题就对着查,能省不少时间。
7.4 独家避坑心得
分享几个文档里不会写、但实际特别有用的心得:
心得一:给模型"喂"领域黑话。每个技术领域都有一套自己的黑话,模型不一定懂。我的做法是提前整理一份领域术语表,在提示词里带上,模型的表现会明显提升。
心得二:让模型"先分类再打分"。直接打分容易虚高,先让模型把候选分成"高度相关、可能相关、不相关"三类,再在类内打分,准确率高不少。
心得三:保留模型的"思考过程"。有些模型支持输出推理过程,别关掉。这个推理过程虽然啰嗦,但排查问题时特别有用,能看出模型是在哪一步跑偏的。
心得四:定期用"已知答案"的样本校准。我每个月会拿一批已知结果的样本跑一遍,看模型的准确率有没有漂移。模型版本更新后,表现可能会变,不校准容易翻车。
8. 检索员的新定位:从"找文献"到"管证据"
跑完这半年的测试,我对"AI能不能替代专利检索员"这个问题有了更具体的答案。能替代的是检索动作,替代不了的是证据责任。检索员这个岗位不会消失,但工作重心会转移。
以前检索员大部分时间花在"找"上——找关键词、找分类号、找文献。现在这些"找"的动作,模型能分担很大一部分。检索员的时间会更多花在"判断"上——判断证据强度、判断等同边界、判断检索是否充分、判断报告怎么写。
这个转变对检索员的能力要求其实更高了。以前会查就行,现在得会"管"——管模型、管流程、管证据链。我身边转得快的同行,已经开始把模型当成"实习生"来用:让它干粗活,自己把关关键判断。转得慢的,还在纠结"模型会不会取代我",结果时间都花在焦虑上了。
我个人的体会是,把模型当成一个不知疲倦但需要监督的助手,而不是一个可以托付结论的专家。这个定位摆正了,效率提升是实实在在的,风险也是可控的。至于那些担心被替代的同行,我的建议是:先去把多模型协同这套流程跑一遍,跑完你就知道该往哪个方向使劲了。工具在变,但检索这件事的核心——把证据找全、把边界划清、把结论说准——一直没变。