AIGC检测原理与实测：困惑度、突发性和误判边界

上周在一个内容团队的群里，有人甩了张截图过来：一篇自己憋了三个晚上写出来的行业分析，丢进某个AIGC检测工具里，出来个"AI生成概率 87%"。群里瞬间炸了，有人说自己也遇到过，有人开始怀疑人生，还有人直接表示以后不敢用了。这事儿挺有意思——AIGC检测这几年从学术圈的小众工具，变成了内容平台、教育机构、企业审核环节里的常见配置，但绝大多数人对它的认知还停留在"输入文本、看个百分比"的水平，既不知道那个数字怎么来的，也不知道它在什么条件下可信、什么条件下纯属瞎猜。

这篇就围绕爱查宝这个免费AIGC检测入口，把它拆开来看。先讲清楚检测器背后的判据是什么，再讲我为了测它专门搭的一套样本方案——人类对照文本怎么选、AI样本怎么造、指标怎么定，然后是实测出来的分数分布、它在哪些文体上稳、哪些文体上飘，最后落到具体用法：作者自查怎么读分数、内容审核怎么定阈值、免费额度和文本上传的隐私边界在哪儿。适合三类人看：需要给自己的稿子做一次"体检"的写作者，负责内容合规审核的运营同学，以及单纯好奇这玩意儿到底靠不靠谱的技术读者。不需要你有机器学习背景，但我会尽量把每个结论背后的"为什么"说透，因为这类工具最容易踩的坑，就是把它当成一个客观真相。

1. 拆开"AI味"：检测器到底在看什么

很多人以为检测工具是在比对数据库，看你的文字和某篇AI生成的文本像不像。这个理解是错的。主流的AIGC检测走的是统计特征路线——它不关心你写了什么内容，只关心你的文字在"用词选择"和"句式节奏"上呈现出什么样的概率分布。人类写作和模型生成在这两个维度上确实存在系统性差异，检测器就是抓这个差异。

1.1 困惑度与突发性这对老搭档

困惑度（Perplexity）是最核心的一个量。通俗讲，它衡量的是"一段文字对一个语言模型来说有多意外"。模型生成文本时，每一步都是从概率分布里挑一个词，倾向于挑概率高的——也就是最"顺理成章"的那个。所以AI写的句子，对另一个语言模型来说往往"毫不意外"，困惑度偏低。人写作不一样，人会突然用一个冷僻但精准的词，会写一个语法上略微别扭但表达力很强的句子，这些都会拉高困惑度。

突发性（Burstiness）看的是句子长度和复杂度的波动幅度。你回想一下自己写东西的状态：写到一个兴奋点，可能连出三个短句；写到需要论证的地方，又开始堆长句、套从句。整篇文章的句长是一条起伏剧烈的曲线。而模型输出的句长分布通常更均匀，平均句长稳定在一个区间里，长短句交替的节奏感偏"平"。这两条曲线叠在一起，就构成了最基础的判断依据。

还有一个常被忽略的维度是词汇多样性。模型在长文本生成中容易出现词汇复现——同一个动词反复用，连接词高度集中在"此外""然而""值得注意的是""综上所述"这几个上。人写作者即使词汇量不大，用词习惯也更随机、更个人化。

1.2 分类器路线与模板词特征

光靠困惑度和突发性不够，因为这两个指标对短文本极不稳定，对某些文体也天然失效。所以现在多数工具会在统计特征之上再叠一层分类器：用大量"人写文本"和"AI生成文本"配对训练一个判别模型，把困惑度、句长分布、词性序列、标点使用习惯、段落长度这些特征一起喂进去，输出一个0到1之间的概率值。爱查宝这类工具最终给你显示的那个百分比，基本就是这个概率值的百分数化呈现。

在这个分类器眼里，有些特征权重特别高。我观察下来，中文语境下最敏感的几类信号是：段落结构的"三段式"惯性（先总述、再分点、最后小结）、每段开头爱用概括句、大量使用"不仅……而且……""一方面……另一方面……"这类对称句式、以及结尾习惯性升华。这些不是玄学，是模型在训练数据里学到的高频模式，写出来自然带痕迹。

反过来，人类写作里那些"不完美"的地方——口语化的插入语、突然的自我修正、跑题两句又拉回来、用了一个不太规范但很生动的比喻——在分类器眼里恰恰是强信号。所以你会看到一个反直觉的现象：写得越"标准"、越"像范文"，越容易被判成AI。这一点在后面讲误判的时候还会展开。

1.3 为什么"改写一下"就能让分数掉一半

这个现象很多人遇到过：同一段文字，原样检测是85%，自己手动改了几个词、调了调句子顺序，再测变成40%。有人据此认为工具不靠谱，其实这恰恰暴露了检测原理的软肋。

改写破坏的是统计特征的稳定性。你把一个长句拆成两个短句，突发性指标变了；你把"因此"换成"所以"，模板词特征变了；你加一句"这里我其实不太确定"，困惑度直接上去了。分类器是基于特征的，特征一动，输出就动。这不代表它在"随机瞎猜"，而是说明它测量的是一个连续量，不是一个是非判断。分数从85掉到40，可能意味着改写确实让文本更接近人类分布，也可能只是刚好越过了某个特征边界。

理解这一点很重要，因为它决定了你该怎么用这个工具：把它当成一个参考仪表，而不是一个判决书。仪表会因为你踩油门而变动，这不叫仪表坏了，但你也不能拿仪表读数去证明车没超速。

2. 我把实测方案摊开讲：样本、指标、控制变量

要评价一个检测工具，最没意义的做法就是随便找两段文字丢进去看结果。你得有对照组、有分层、有明确的判定标准。我这次搭的方案不算严谨的学术实验，但足够支撑"它在什么情况下可信"这个结论。

2.1 人类对照组怎么选才不作弊

对照组的设计是最容易出问题的地方。如果我只拿自己写的技术文章当人类样本，那结论一定偏——我的写作习惯本身就偏理性、偏结构化，正好撞在模型特征上。所以我按写作者类型和文体做了两层分层。

写作者类型上分了三档：日常写作量大的（媒体编辑、文案），写作量中等的（职场常规汇报、邮件），写作量少的（学生课程作业、生活记录）。每档各取若干篇，确保不是同一个人写的。文体上覆盖了议论文、技术说明、随笔散文、工作汇报、产品介绍、邮件、社交媒体短帖七类，每类至少八篇，长度从200字到3000字不等。

这里有个细节要注意：所有人类样本必须是"未经AI辅助"的。我在收集时明确要求提供者确认没有用过任何生成工具，包括润色。因为一旦混入了AI辅助的文本，对照组的纯度就没了，测出来的误报率会失真——不是偏低，而是偏低得毫无意义。

2.2 AI样本的三个维度

AI样本这边，我按三个维度造：生成模型、提示方式、后处理程度。

生成模型选了三个不同来源的通用大模型，避免结论只对某一个模型成立。提示方式分四种：直接给主题让它自由发挥、给详细提纲让它填充、要求"用口语化风格写"、要求"模仿某类文体"。这四种提示出来的文本特征差别很大，尤其是后两种，因为模型被要求模仿人类风格时，会刻意加入口语词和短句，反而让检测难度上升。

后处理程度是我最看重的一维，因为它最接近真实场景。分了五档：原样输出、人工改词（只换同义词不改结构）、人工改句（重写句子但保留内容）、人工重写（完全用自己的话重述）、AI二次润色（把AI稿丢给另一个模型让它"改写得更自然"）。这五档对应的分数变化，基本能画出一条"改写深度—检测分数"的曲线。

2.3 指标不止"准不准"

大部分人评价这类工具只看一个数：它判对了多少。这个指标叫准确率，但在检测场景里，准确率是最容易骗人的指标。因为如果样本里AI文本占九成，那工具无脑全判AI也能有90%准确率。

我实际记录的是四个量：真阳率（AI文本被判成AI的比例）、真阴率（人写文本被判成人的比例）、假阳率（人写被判成AI，也就是误伤）、假阴率（AI被判成人，也就是漏检）。这四个量里，假阳率是最需要盯的——漏检顶多让一篇AI稿混过去，误伤却会让一个认真写作的人背上污名，代价完全不对等。

另外我还加了一个非标准指标：一致性。同一段文本，不改任何字，连续检测五次，看分数波动多大。这个指标在官方文档里基本不会提，但它直接决定你能否拿这个分数去做判断。如果一个文本今天测60明天测85，那这个分数就没有任何决策价值。

3. 实测数据：分数在什么情况下可信，什么情况下飘

先说总体结论：在长文本、议论文和技术说明这三类上，工具的判别能力是可用的；在短文本、强套路文体和经过深度改写的文本上，它的输出基本只能当噪声看。

3.1 长文本与短文本的两条曲线

长度对检测精度的影响非常直接。我把样本按长度分成三档，统计各档的真阳率和真阴率，结果大致是这样的：

规律很清楚：文本越长，统计特征越稳定，判断越可靠。原因不复杂，困惑度和突发性这类指标本质上是统计量，样本量小的时候方差大，随便一句话的措辞变化就能把均值带偏。200字以内的文本，可能就五六句话，其中一句写得特别工整，整体特征就偏向AI了。

这条规律的实际含义是：别拿短文本的检测结果说事。一段产品文案、一条朋友圈、一封三行的邮件，测出来的分数基本没有参考价值。我见过有人拿一句广告语去测，出来92%，然后到处说这工具不准——这不叫不准，这叫用错了地方。

3.2 文体差异比模型差异更大

我原本以为不同模型生成的文本，检测难度会差很多。实测下来，模型之间的差异确实存在，但远小于文体之间的差异。同样是AI生成的文本，议论文的检出率能到九成，而产品介绍、使用说明、工作汇报这几类，检出率明显低一截。

原因还是回到特征上。议论文需要论证、需要举例、需要有观点推进，这些环节里人类写作的"个性痕迹"最明显，模型写出来就显得特别"平"。而产品介绍、说明书、汇报材料这几类，本身就是高度模板化的文体——人写的时候也在套模板，也在用固定句式，也在追求"规范、清晰、无歧义"。这类文本的困惑度天然就低，突发性天然就小，跟AI文本的特征区间高度重叠。

这就引出一个很重要的判断：检测工具对"套路化程度高的文体"天生不敏感。这不是算法缺陷，是这类文体的人类写作本来就在模仿机器的表达方式。公文、法务条款、标准操作流程、产品规格说明，都属于这个范畴。拿这类文本去测，测出来的分数高低，说明不了太多问题。

反过来，随笔、评论、个人观点类文章，检出率明显更高。因为这类文本的"人味"最重，一旦是AI写的，那种"四平八稳、面面俱到、谁也不得罪"的语气会非常扎眼。

3.3 后处理对分数的实际影响

这一组数据我觉得最有意思，也最能说明检测工具的能力边界。同一批AI初稿，施加不同程度的处理后重新检测，平均分变化大致是：

这里有个反直觉的点：让另一个模型去"改写得更自然"，效果不如人自己动手重写。因为模型改写只是换了一套生成策略，输出仍然是模型分布里的样本，困惑度依然偏低、句式依然规整，只是模板词从一套换成了另一套。分类器见过的模板多，换汤不换药的效果有限。

真正有效的是"完全人工重述"——不是改词改句，是把内容理解透了，合上原文，用自己的话重新写一遍。这个动作会把整篇文章的信息组织方式、句子节奏、用词偏好全部换掉，统计特征自然就回到人类区间了。

不过这里必须说清楚：做这件事的正当场景是"我用了AI辅助，现在要把它变成真正属于我自己的表达"，不是"我要骗过检测"。两者在动作上相似，在性质上完全不同。前者是正常的写作过程，后者是诚信问题。而且从实际效果看，真正理解内容后重写出来的东西，质量通常比原稿高——这个过程本身就是在做深度加工。

4. 能力边界：四类文本它注定判不准

前面讲的是"它什么时候准"，这一节讲"它什么时候必然不准"。这部分内容我觉得比准确率数据更有价值，因为误判的代价全部由写作者承担。

4.1 非母语与"规范化"写作

这是误报率最高的一类。学习中文写作的外国朋友、习惯用书面语的非母语作者，写出来的中文往往句式规整、用词保守、少有口语化表达、段落结构清晰。这些特点在检测器眼里，全部指向"AI特征"。

原因说穿了很简单：语言学习的过程本身就是在学习"高概率表达"。教科书教的句式、范文里的结构、老师强调的"规范表达"，本质上就是语言模型统计出来的高频模式。一个认真按规范写作的人，写出来的东西在统计分布上就是更接近模型输出。这不是他们的错，是"规范"和"可预测"在这个维度上重合了。

我测过几篇非母语作者写的说明文，分数普遍在60%到80%之间，而作者本人完全没用过任何生成工具。这个假阳率在这个群体上是系统性的，不是偶发。

同样的道理，写作训练越"标准化"的人，越容易被误判。长期写八股式汇报材料的人、习惯套用公文模板的人、被反复要求"格式规范、表述严谨"的人，他们的文本在统计特征上天然偏AI。这是个挺讽刺的现实：越是训练有素的规范化写作者，越容易被这套工具冤枉。

4.2 高套路文体：公文、说明书、法务文本

第二类是套路化文体本身。前面提过，这类文本的人类写作也在追求"无个性、无歧义、标准化"，跟AI的输出目标高度一致。

具体表现是：产品使用说明、操作手册、规章制度、合同条款、标准作业流程，这几类文本的检测分数普遍偏高，而且人和AI写的分数分布几乎重叠。我拿了几份确实是人写的产品说明书去测，分数在55%到75%之间浮动，跟AI写的同类文本没有明显区分度。

这类文本还有一个特点：一致性差。同一份说明书，改一个标点、换一个量词，分数可能掉十几个点。这说明检测器在这个区间里其实没有找到稳定特征，输出的分数接近随机。

所以如果你要检测的对象是这类文体，我的建议是直接放弃用分数做判断。改用人来判断，或者干脆从流程上要求"必须人工撰写、必须签字负责"，而不是依赖工具。

4.3 被"润色过"的AI文本

第三类是"AI初稿+人工润色"的混合文本，这也是现实中最常见的形态。很多人用AI起个草稿，然后自己改一遍，这种文本到底算不算AI生成？本身就是个模糊问题。

从检测角度看，这类文本的分数极不稳定，取决于润色深度。轻度润色（改改词、调调顺序）分数依然高，重度润色（结构重排、内容增删、语气调整）分数会掉到中间地带，而这个中间地带的分数最没有意义——既不能说明它是AI，也不能说明它是人写的。

我个人的判断是：这类文本的检测结果应该被理解为"AI参与度"，而不是"是否AI生成"。分数高说明模型痕迹重，分数中等说明经过了实质性的人工加工，分数低说明人的表达占主导。这个理解方式比"是/否"的二元判断更贴近现实，也更公平。

4.4 一致性：同一段文字连测三次

这个必须单独拎出来说。我做了一组测试：取二十段文本，不改任何字，连续检测五次，记录分数的最大值和最小值。结果让人有点意外——五分之一的文本，五次之间的分数差距超过20个百分点。极端的一个案例，同一段文本最低测出38%，最高测出71%。

这个波动幅度意味着什么？意味着如果你只看一次结果，那个数字的误差棒可能比你想象的宽得多。一个人测出58分，另一个人测出58分，可能一个是"实际55分测高了"，一个是"实际62分测低了"，两者根本不是同一回事。

更麻烦的是，这种波动在不同文本上表现不一致。有些文本特别稳定（五次都在两三个点内浮动），有些文本来回跳。稳定的那些通常是特征很典型的（要么极像AI，要么极像人），跳得厉害的是处在中间地带的。

实用建议就一条：如果分数在40%到70%之间，测三次取平均，或者干脆别用这个分数做判断。这个区间里，工具自己都不确定。

5. 把分数放回工作流：三个真实场景的用法

讲完原理和边界，落到怎么用。我把常见的使用场景归成三类，每类的读法和用法都不一样。

5.1 作者自查：先看片段再看总分

自己写的东西，测出来一个高分，第一反应通常是慌。先别慌，看高亮片段。

多数检测工具除了给总分，还会标出它认为"最像AI"的句子或段落。这个局部信息比总分有用得多。我自己的经验是：如果高亮集中在某几段，那通常是那几段写得太"顺"了——比如过渡段、总结段、列举段，这些地方本来就容易写成套路句。如果高亮是均匀铺满全文，那说明整体表达方式确实偏模式化，值得回头改。

具体怎么改？我的做法是挑出高亮最多的三段，逐段做一件事：把每一句的"结论句"改成"过程句"。什么意思？模型爱写"X是Y的核心因素"，人更常写"我试过三次，前两次都栽在X上，后来发现关键在Y"。前者是高度压缩的判断，后者带着具体的经验路径。后者在统计特征上更像人，在内容上也更有信息量。

还有一个自查技巧：把文章大声读一遍。读着别扭、需要换气的地方，通常是长句堆叠；读着顺得像在念稿的地方，通常是套路句。这个土办法的准确率不比工具低，而且不花钱、不上传文本。

要提醒一点：自查的目的是"让表达更像我自己"，不是"把分数压下去"。分数只是副产品。如果为了降分去故意加错别字、塞无意义的语气词，那是本末倒置，读者一眼能看出来。

5.2 内容审核：阈值怎么定，怎么留证

如果是在做内容审核，把检测分数当唯一依据是有风险的。我的建议是把它放在"初筛"位置，不放在"终裁"位置。

阈值方面，我倾向设置成双阈值：高于85%的进入人工复核队列，低于30%的直接放行，中间地带不做自动判断。这个设置的理由是，高于85%的样本里AI参与的概率确实高，值得人看一眼；中间地带误判率太高，自动判断只会制造大量无效工作量。

还有一个必须做的动作：留证。检测的时间、分数、使用的工具版本、送检文本的哈希值或完整副本，这些都要存档。原因很实际——工具会更新，模型会迭代，同一段文本半年后再测分数可能完全不同。如果当时没有留痕，事后争议时你拿不出依据。我见过有团队因为半年前的一个检测结论被质疑，结果连当时送检的是哪个版本都说不清。

另外一个经验：不要只用一个工具下结论。不同工具的判据侧重不同，交叉验证能降低单点误判。如果两个工具都判高，可信度明显提升；如果一个高一个低，那就老老实实交给人看。这不是工具不行，是这类问题本来就不该完全交给工具。

5.3 编辑润色：比你想象的更有用

这个用法可能有点反常识——检测工具在"写作教练"这个角色上，其实比在"裁判"角色上更有价值。

具体怎么用？写完一段，测一下，看哪些句子被标出来。被标出来的句子，往往是那些"信息密度低、表达模式化"的句子。这时候不用管"它是不是AI写的"，就问自己一个问题：这句话有没有更具体、更有个人视角的写法？

举个例子。一句"该方案有效提升了整体效率"，被标出来的概率很高，因为它信息量为零。改成"上线后第一次跑批从四十分钟压到十二分钟"，同样的意思，但有了具体数字和场景，检测分数会明显下降，读者读起来也更有获得感。这个过程里，检测工具起的作用是"提醒你哪里写空了"，而不是"判定你作弊"。

我用这个法子改过一批技术文档，改完之后回头读，确实比原稿扎实——不是因为我刻意避开某些词，而是因为每次被标出来，我都被迫去想"这句到底想说什么具体的事"。这个副作用比降分本身有价值得多。

6. 免费额度、隐私与工程化接入的细节

最后聊聊使用层面的实操问题。这些细节官方文档里通常不会写清楚，但直接影响你能不能用得顺手。

6.1 额度与长度限制的实测

免费工具都有额度，爱查宝这类入口的典型限制是"每天若干次、单次若干字"。实测下来有几个点值得注意。

一是字数上限按字符算还是按词算，不同工具不一样，中文场景下差别很大。有的工具单次限3000字符，中文一篇两千字的文章就超了，得切成两半送检。切分的时候要按段落切，不要从句子中间断开，否则上下文断了，检测结果会失真。

二是额度重置的时间点。有的是自然日零点重置，有的是滚动24小时。前者意味着你可以在晚上十一点和次日零点各用一次，等于翻倍；后者就只能老实等。这个细节在做批量检测时影响很大。

三是单次检测的响应时间。长文本检测通常要等十几秒到几十秒，批量跑的时候要留足时间。如果你打算一次送几十篇，建议分批、间隔着来，别短时间内高频请求，容易触发限流，反而更慢。

6.2 文本上传的隐私判断

这一条我觉得比检测精度更值得重视。你把文本上传到任何一个在线工具，文本就离开了你的设备。它会存多久、会不会被用于训练、有没有加密、能不能删除，这些问题在免费工具上通常没有明确答案。

我的处理原则很直接：涉及未公开的商业信息、个人隐私、内部资料，不上传。测试可以用公开的、脱敏的、自己随手写的文本。如果确实需要检测敏感内容，优先考虑本地部署的方案——虽然门槛高一些，但数据不出机器。现在也有一些开源检测模型可以本地跑，效果不如在线工具但够用，关键是数据可控。

还有个小细节：上传前删掉文中的具体人名、机构名、联系方式。这些信息对检测结果没有任何帮助，但一旦泄露就是实打实的风险。养成"先脱敏再送检"的习惯，成本很低。

6.3 批量检测与结果归档

如果你需要处理的数量大，手工一篇篇粘贴不现实。这时候要考虑两件事：怎么组织批次，怎么存结果。

批次组织上，我建议按文体分组，不要混着送。原因前面说过，不同文体的分数分布完全不同，混在一起统计没有意义。同一批里全是技术文档，那分数可以直接横向比较；混了公文和随笔，比较就失真了。

结果归档上，建议至少记录这几个字段：文本标识、送检时间、文本长度、文体类型、检测分数、高亮片段摘要、是否人工复核、复核结论。用一张表就能管起来。这张表的价值在于，跑上几百篇之后，你能看出自己团队在哪些文体上容易出高分，从而针对性地调整写作规范——这比单看某一篇的分数有用得多。

还有一点经验：定期用固定样本回测。准备十到二十篇已知来源的文本（一半人写、一半AI生成），每隔一段时间重新跑一遍，看工具的判定结果有没有漂移。工具迭代是常态，今天的阈值明天可能就不适用了。这个回测机制不复杂，但能避免你在工具悄悄更新后继续用老经验做判断。

最后分享一个我在实际操作中的体会。这类工具最大的价值，不在于它能告诉你"这是不是AI写的"，而在于它会强迫你重新审视自己的文字——哪句话是空的，哪段是在凑字数，哪个过渡是靠套话撑起来的。我拿它测过自己几年前写的东西，有些段落分数高得让我脸红，但仔细一看，那些段落确实是全文里最没有信息量的部分。从这个角度说，它更像一面照妖镜，照出来的往往不是"AI痕迹"，而是"写作惰性"。至于那个百分比，看看就好，别把它当成判决书，也别拿它去给别人定罪。