千笔-AIWritePaper · https://www.aiwritepaper.com
把文献笔记丢给模型，几分钟就能得到作者、DOI、样本量与机构名。真正要分清的是三件事：证据能否打开、证据是否冲突、有没有在无证据时仍放行。假 DOI、题名漂移、作者张冠李戴、数值与表不一致、无来源机构名，都会让「读起来像论文」失去核验意义。
本文依据 Simons Institute for the Theory of Computing 公开讲座信息整理：讲者 Santosh Vempala（佐治亚理工），标题Why Pretrained Models Hallucinate，约 44 分钟，公开日期 2026-10-07。采集/论文脉络摘要称：即便训练数据干净，下一词预测压力也会逼出幻觉；相关工作沿 STOC 2025 / Nature 2026 线展开。完整字幕在整理时未能逐字核对，下文把理论主张写成采集/论文脉络摘要，不杜撰讲者原话或测评分。实验部分是虚构迷你文献笔记与三类故障注入（_w/hallucination-fact-gate/）。
图：上排为幻觉与核验主题；中排为三档判定；底部为三类故障种植路径。
目标说明
读完你应能独立完成四件事。
- 说清事实核验失败要分成可打开证据、证据冲突、无证据仍放行。
- 为迷你文献笔记十二条断言设闸门，并写出失败含义。
- 注入跳过 DOI、只匹配题名关键词、把模型自信当证据，观察放行失控。
- 当天跑完最小实验，把日志与 CSV 留下，禁止「读起来像真的」进正文。
视频要点：仅基于公开笔记（非逐字引语）
可确认信息包括：标题、讲者 Santosh Vempala、频道 Simons Institute for the Theory of Computing、时长约 44 分钟、日期 2026-10-07。采集/论文脉络摘要称幻觉可在干净训练数据下由下一词预测压力诱导，并与事实分类/生成任务相联系。该理论主张未经本整理对照视频逐句核实，只作选题动机，不作讲者引语。
| 要点 | 公开笔记表述 | 工程落点 |
|---|---|---|
| 机制摘要 | 下一词预测压力可逼出幻觉 | 生成断言必须外挂核验 |
| 数据条件摘要 | 干净数据亦不足以免幻觉 | 不能只靠「训练好」 |
| 本篇实验 | 12 断言 + 三故障 | 三档判定 + CSV |
| 边界 | 字幕未全文核 | 不编造讲者金句 |
失败含义：模型写得出 DOI ≠ DOI 可打开；题名像 ≠ 题名对；自信高 ≠ 有证据。
三档判定与失败含义
| 判定 | 含义 | 典型触发 |
|---|---|---|
| 可打开证据 | DOI 可打开且题名作者数值一致 | 真 DOI + 字段对齐 |
| 证据冲突 | 有线索但与金标准冲突或 DOI 无效 | 假 DOI、题名漂移、错作者、N 不一致 |
| 无证据仍放行 | 未打开证据却放行 | 跳过 DOI、关键词冒充、自信当证据 |
闸门只钉「断言是否诚实可核」，不扩展到论文本身是否正确。论文可能没错，笔记抄错了；也可能笔记被模型补全，读起来更「完整」。
当天最小实验：12 断言 + 三类故障
金标准证据库含两条可打开 DOI。种植后输出原样：
A01 kind=true_doi 判定=可打开证据 reason=doi_open_ok A02 kind=true_doi 判定=可打开证据 reason=doi_open_ok A03 kind=false_doi 判定=证据冲突 reason=doi_missing_or_unsourced A04 kind=title_drift 判定=证据冲突 reason=title A05 kind=wrong_author 判定=证据冲突 reason=author A06 kind=number_mismatch 判定=证据冲突 reason=n A07 kind=unsourced_org 判定=证据冲突 reason=doi_missing_or_unsourced A08 kind=true_doi 判定=可打开证据 reason=doi_open_ok A09 kind=false_doi 判定=证据冲突 reason=doi_missing_or_unsourced A10 kind=title_drift 判定=证据冲突 reason=title A11 kind=wrong_author 判定=证据冲突 reason=author A12 kind=number_mismatch 判定=证据冲突 reason=n G0汇总 可打开证据=3 证据冲突=9 无证据仍放行=0 F1 跳过DOI打开 无证据仍放行=12/12 闸门应判 FAIL F2 只匹配题名关键词 无证据仍放行=12/12 闸门应判 FAIL F3 把模型自信当证据 无证据仍放行=12/12 闸门应判 FAIL 合计断言=12 故障类=3 闸门终裁: DOI须可打开 | 题名作者数值须与证据一致 | 禁止跳过DOI | 禁止题名关键词冒充核验 | 禁止模型自信当证据 | 理论主张按采集/论文脉络摘要，不杜撰讲者原话逐条读法：
- G0：3 条真 DOI 对齐放行；假 DOI、漂移、错作者、N 不一致、无来源机构均冲突拦截；无证据仍放行=0。
- F1：跳过 DOI 打开，12/12 变成无证据仍放行。
- F2：只看题名关键词，同样 12/12 失控放行。
- F3：把模型自信当证据，同样失控。
故障注入表
| 故障 | 改了什么 | 闸门应看到 |
|---|---|---|
| 跳过 DOI 打开 | 不访问证据库 | 无证据仍放行 |
| 题名关键词冒充 | 字面重合即放行 | 无证据仍放行 |
| 自信当证据 | 忽略外证 | 无证据仍放行 |
当天最小步骤
- 写下十二条待核断言（含真假 DOI 与漂移项）。
- 建最小证据库，跑通 G0。
- 依次注入 F1–F3，确认放行失控被判 FAIL。
- 把 CSV 与命令行输出存档，禁止只截「最终笔记」图。
验收清单
- 三档判定有明确定义。
- DOI 打开与字段对齐写入脚本。
- 三类故障各能把放行打到 12/12。
- 采集/论文脉络摘要若出现在讨论中，已标明非引语。
常见误区
- 「DOI 格式对就算真」：还要能打开并与题名作者对齐。
- 「题名有几个词相同就算同一篇」：F2 专拦这种冒充。
- 「模型很肯定就先写上」：F3 把自信当成证据。
- 「幻觉只出现在脏数据」：采集/论文脉络摘要强调干净数据下仍可能出现。
踩坑
- 只核对 DOI 字符串，不打开元数据。
- 用搜索引擎标题模糊匹配代替 DOI。
- 数值与表不一致时只改综述句，不改断言源。
- 把机构名当装饰性短语，不要求来源。
- 把采集摘要写成「讲者指出」。
失败含义速查
| 现象 | 含义 | 下一步 |
|---|---|---|
| 证据冲突 | 字段或 DOI 不可信 | 回源修正或删除断言 |
| 无证据仍放行 | 闸门被旁路 | 恢复 DOI 打开与字段对齐 |
| 可打开证据 | 可进入人工抽检 | 仍要抽边界样例 |
| 理论摘要被当引语 | 来源层级错 | 改回采集/论文脉络摘要称 |
与论文复现闸门如何分开
复现闸门盯数值结论与过程是否干净；本篇盯生成断言的事实核验。一篇笔记可以复现数字全对，却在参考文献行幻觉；也可以参考文献都行，复现过程被改参。两道闸门串联，不互相替代。
为什么「必幻觉」仍要做闸门
采集/论文脉络摘要把幻觉描述为预测压力下的结构现象，而不是偶尔马虎。工程含义是：不要指望换一个「更认真」的提示词就消灭幻觉，而要把放行条件写成可执行核验。闸门红灯时，优先假设断言未核验，而不是先假设用户假造。
十二条断言如何抽样到真实项目
真实文献笔记可能有上百条。先按 DOI 有无、数值有无、机构名有无分层抽样，每层至少保留假 DOI、题名漂移、错作者各一例作回归。G0 的 3/9/0 分布是虚构比例，不是领域基线。把比例写进 SOP 时标明「演示集」，另用本领域抽检集标定告警阈值。
当天复盘模板
把 G0 与故障行各贴一行到复盘文档，写明哪条断言或哪个部件触发，下一步谁负责改真源。复盘不写感想，只写动作与责任人。避免用「加强意识」代替改脚本。
DOI 打开失败时的分级处理
打开失败可能是网络、权限或 DOI 本身无效。闸门不要一律写成「证据冲突」就结束。建议分两步：先记doi_unreachable，重试一次；仍失败再升为冲突并阻断放行。虚构 smoke 把假 DOI 直接打成冲突，是为了稳定单测；真实环境要保留短暂的不可达状态，避免把临时网络故障写成学术不端暗示。
题名漂移的编辑距离阈值
A04/A10 用全等比较。真实项目可对题名做规范化（大小写、标点）后再比，但不要用「共享三个实词」当通过条件，那正是 F2 要拦的。作者姓氏同样建议集合包含，而不是字符串全等，以免「Li」与「Li, Wei」误杀；数值字段则必须全等或在预声明误差带内。
无来源机构名为什么单独种雷
机构名读起来像权威背书，最容易在无 DOI 时被模型补全。A07 没有 DOI，G0 直接冲突拦截。正文写作时，机构名必须跟着可打开来源；否则降级为「未核验组织名」，不得进入结论句。把机构名当成装饰性形容词，是笔记幻觉的高频入口。
与 AI 审稿错误捕获笔记的关系
审稿错误捕获盯的是审稿意见里的事实错误；本篇盯的是生成文献笔记里的事实断言。对象不同，三档思想可以共用。不要把审稿场景的误报率直接当成文献笔记闸门阈值。
当天复盘只记三列
断言编号、判定档位、下一步动作。不要写「以后细心一点」。F1–F3 任一复现失败，先修闸门旁路，再谈提示词。
总结
预训练模型在采集/论文脉络摘要所描述的机制下可能对事实断言产生幻觉；工程上要用可打开证据、证据冲突、无证据仍放行三档闸门接住。G0 应拦截假 DOI 与字段冲突；F1–F3 显示旁路核验会让无证据放行失控。理论主张保持摘要层级，不写成讲者原话。骨架与脚本不依赖产品名；需要整理核验日志时，可用千笔-AIWritePaper 辅助归档。
