大家读完觉得有帮助记得关注和点赞!!!
摘要
电话诈骗给全球个人和金融系统带来巨大且不断增长的成本,然而现有反制措施不对施害者施加任何资源成本。战略性诈骗诱饵——即自动代理与诈骗者互动以消耗其操作能力——提供了一种主动替代方案,但需要静态系统无法提供的动态策略适应。我们引入一个博弈论框架,使LLM无需微调即可通过上下文经验学习有效的反制策略。该框架将诈骗者-诱饵互动建模为具有经验基础策略和效用函数的两人博弈,使用纳什均衡作为评估学习行为的正式基准。在300段模拟对话和三种LLM架构上,自适应策略选择比非自适应基线在纳什均衡对齐度上提高28.9–79.7%。代码和包含回合级策略标签与效用分数的300段对话标注数据集已发布¹。
1 引言
电话诈骗给全球个人和金融系统带来巨大且不断增长的成本。2024年,美国联邦贸易委员会记录消费者欺诈损失超过120亿美元,电话仍是主要投递渠道之一[9]。生成式AI日益融入诈骗基础设施,进一步加快了脚本演变速度,显著超过传统防御的适应周期[21]。
现有反制措施如呼叫阻断、黑名单和基于ML的检测[6, 15]是反应性的。它们不对诈骗者施加成本,诈骗者可以立即将资源重定向到新目标。诈骗诱饵——即代理冒充潜在受害者以浪费诈骗者时间——提供了一种根本不同的姿态。早期自动化方法[2, 3]展示了可行性,但依赖静态模板和固定启发式,对能够适应并识别和脱离机器人的操作者无效。
有效的自动诱饵需要解决三个主要挑战:(i)动态平衡延长互动与保持可信度这两个冲突目标;(ii)采用相对于诈骗者观察行为有效的诱饵策略;(iii)通过超越互动长度的正式指标评估代理适应性。我们通过一个博弈论框架解决这些挑战,使LLM能够通过上下文学习(无需参数更新)学习有效的诱饵策略。
该框架在通话被标记为诈骗后运行,将诈骗者-诱饵互动建模为两人非合作博弈。每个玩家采用的策略基于有记录的诈骗技术[1, 21]和说服研究[5],收益根据玩家相对于各自目标的表现分配。为构建最优诈骗诱饵——一个持续选择最大化诈骗者时间浪费的策略的代理——从经验构建的收益矩阵计算纳什均衡(NE)。策略分布与NE对齐的诱饵在任何诈骗者行为下最大化其保证性能,使均衡接近度成为代理学习效果的原则性度量,并作为评估学习LLM行为在重复博弈中的基准。
本文研究以下问题:RQ1 LLM能否通过重复互动的上下文学习(无需微调)学习有效的诱饵策略?RQ2 LLM是否通过基于经验的适应收敛到NE策略分布,且均衡接近度是否与诱饵有效性相关?RQ3 哪些诱饵策略在不同LLM架构中最有效,最优策略在多大程度上随架构差异变化?RQ4 哪种LLM架构在生产部署中提供诱饵有效性与计算成本之间最有利的权衡?
我们通过DeepSeek、Mixtral和GPT-4的300段模拟对话评估框架。延迟和反问作为普遍有效的诱饵战术出现,而最优混合比例取决于架构。自适应策略选择比非自适应基线在NE对齐度上提高28.9–79.7%。DeepSeek实现最强诱饵性能(约60%诱饵胜率;平均42回合时长),成本远低于GPT-4,为部署提供有利的成本-性能权衡。
本文做出四项贡献:(1)通过NE分析经验验证有效诱饵策略的识别,并提供架构特定部署指导。(2)经验证明LLM通过上下文学习无需微调即可获得有效反制策略,在所有测试模型上实现比非自适应基线可测量地更接近纳什均衡的对齐。(3)一个用于对抗性人-代理对话中自适应策略学习的博弈论评估框架,为诈骗诱饵情境中的LLM适应提供首个正式评估机制。(4)一个包含300段对话、回合级策略标签和效用分数的标注数据集,已发布¹以支持可复现性和未来研究。
2 相关工作
诈骗检测与操作防御。已部署的电话诈骗反制措施涵盖网络级过滤(呼叫阻断、电话黑名单[15])、基于内容的检测(ML分类器[12]、NLP脚本检测[6])以及通过虚拟助手中介的来电者认证[16]。所有这些都是反应性的,而来电显示欺骗进一步削弱了过滤可靠性[7]。关键的是,没有已部署系统对诈骗操作者施加直接资源成本;被阻断或检测到的诈骗者可以以可忽略成本立即将努力重定向到新目标。这种不对称性激励了本工作追求的资源消耗方法。
自动诈骗诱饵。手动诈骗诱饵已被研究为一种有意的反制措施[8],有记录证据表明持续互动有意义地占用诈骗者资源。自动化努力仍然有限。Bajaj和Edwards[2]展示了LLM生成的受害者响应,但依赖静态模板而无策略适应。Basta等人[3]引入了多代理互动和人格多样性,但未提供正式战略建模、基于性能的适应或定量评估指标。现有系统无法刻画哪些诱饵行为有效、测量向最优博弈的收敛或根据观察到的诈骗者行为调整策略分布——本文直接解决这些差距。
LLM中的战略推理。LLM进行战略推理的能力已通过认知层级建模[22]和多代理谈判分析[4]检验。然而,现有工作在小型策略集上评估,聚焦短时程互动,且未检验LLM能否从性能反馈更新策略分布而无需参数修改。本文解决所有三个限制,提供跨重复对抗对话中LLM策略向纳什均衡收敛的首个经验分析。
3 博弈框架与方法
我们将诈骗者-诱饵互动建模为两人非合作博弈,运行在诈骗检测系统下游,目标从分类转向资源消耗。博弈论提供在对抗环境中计算理论最优混合策略分布的原则性方法[14]。反过来,纳什均衡作为定量基准,可严格测量经验观察到的LLM行为——这是基于启发式的框架无法提供的属性。
3.1 博弈属性
序贯结构。玩家轮流行动,每条诈骗者消息后跟诱饵响应。每个回合t构成消息-响应对,创建先前行动约束未来选择的依赖关系[10]。
表1:策略概览。完整描述见附录B
| 诈骗者策略 | 诱饵策略 | ||
|---|---|---|---|
| S1 紧迫性 | S6 技术术语 | B1 延迟 | B6 恶意顺从 |
| S2 权威 | S7 安抚 | B2 混淆 | B7 对话转移 |
| S3 情感操纵 | S8 建立融洽 | B3 技术困难 | B8 假装天真 |
| S4 激励 | S9 坚持 | B4 反问 | B9 验证请求 |
| S5 信息提取 | S10 挂断 | B5 信息捏造 | B10 逆向工程 |
信息结构。从诱饵(被优化的代理)角度看,博弈具有完全信息。诱饵知道双方的策略空间、收益结构和对手类型。虽然诈骗者无法区分诱饵和真实受害者,但这种信念不确定性的正式建模[11]超出本文范围;我们的分析聚焦于在确认诈骗检测后识别最优诱饵行为。
完美回忆。双方保留所有先前行动的记忆,使整个对话中能够进行上下文推理。
有限时程。博弈最大长度为tmax = 50回合,双方已知。该界限与先前诈骗诱饵互动经验分析中有记录的诈骗通话时长一致[21],并影响诈骗者的战略脱离计算。
零和收益结构。诱饵的效用定义为诈骗者效用的负值,使任何诈骗者收益等同于诱饵损失。这捕捉了对抗张力——信息提取 vs. 时间消耗——同时通过线性规划实现高效均衡计算。
进一步的建模选择及其影响在第6.3节讨论。
3.2 玩家与策略
诈骗者寻求提取财务个人可识别信息(FPII),特别是支付卡凭据(持卡人姓名、卡号、到期日、CVV),而诱饵冒充受害者以最大化互动时长,可能通过策略性地随时间释放捏造的FPII来维持诈骗者参与。在每个回合,玩家从策略集S = {S1,...,S10}和B = {B1,...,B10}中选择,这些策略源自诈骗技术[1, 21]和说服研究[5]。表1列出策略,附录B提供完整描述。玩家采用混合策略,在策略集上维护概率分布并在每回合从中采样。这些分布在博弈之间根据观察到的收益结果更新,使玩家能够逐步偏向产生更高回报的策略。
图1:回合中的系统架构与信息流。当前博弈和最近20场博弈的数据被处理以选择策略。消息生成器将所选策略转化为上下文适当的对话。对话分析器提取PII、计算效用并存储数据。虚线箭头表示实现跨博弈学习的反馈循环。
3.3 效用函数
我们的诈骗者效用函数捕捉信息提取与时间成本之间的战略权衡。对于回合t ∈ [1, tmax],定义为:
它在每回合结束时计算以提供收益。诱饵的效用定义为UB(t) = −US(t)。函数的每一项捕捉诈骗者决策的不同方面,在以下段落中定义。
财务PII提取。主要诈骗者目标建模为If = 1/(1−FPII),其中FPII ∈ [0,1]衡量获得的支付卡信息累积比例。双曲形式编码支付卡欺诈的关键属性,即部分凭据效用极小,因为成功交易需要近乎完整的信息。当FPII = 1时,上限设为If = WfullPII。
非财务PII。补充信息(地址、电子邮件等)以递减边际收益建模为Io = 1 − e^(−k·r),其中r表示揭示的唯一非财务PII元素数量,k控制饱和率。每个额外元素提供的增量价值低于前一个,反映初始上下文信息有助于可信度评估,而进一步元素提供逐渐更小的收益。
时间惩罚。时间成本建模为−wt·t/tmax,从博弈初始化的零线性增长到最大长度的−wt,对信息提取或挂断产生递增压力。
终止收益。如果诈骗者在最后回合tmax之前选择挂断(策略S10),终止收益Ws(t)设为Whangup,奖励从无生产性互动中理性脱离。否则,如果诈骗者收到全部四项支付卡信息(即FPII = 1),Ws(t)设为WfullPII,为持续信息追求提供强激励。所有其他情况下Ws(t)设为0。
参数校准。参数设为tmax = 50、wo = 5、wt = 5、k = 0.15、Whangup = 15、WfullPII = 100,校准以诱导与有记录诈骗操作模式一致的战略动态[21]。比率WfullPII/Whangup ≈ 6.7反映有意设计选择,即完整凭据提取对诈骗者的价值远高于早期脱离,在前景仍然有利时激励持续信息追求。权重wo = 5平衡次要信息价值与时间成本,而k = 0.15确保收集三到五个补充元素产生显著价值(Io ≈ 0.4–0.5),过度收集(r > 10)提供极小额外收益。到对话中期(t = 25),FPII进展极小(FPII < 0.6)的诈骗者经历负期望效用,使战略脱离变得理性。这些参数选择的有效性在第5节评估,其中效用景观与300段对话中观察到的挂断位置进行比较。
博弈终止。在零和结构下,早期诈骗者脱离为他们产生Whangup = 15,为诱饵产生−15,反映诱饵未能消耗时间。博弈在FPII = 1(完整支付卡详情)、诈骗者选择S10(战略脱离)或t = tmax(诱饵将互动维持到最大时长)时终止。
3.4 经验收益矩阵与纳什均衡
收益矩阵从观察到的互动经验构建而非先验指定,因为每个策略对的收益取决于无法在没有模拟的情况下确定的对话上下文[19, 20]。然后我们使用纳什均衡[13]作为评估战略学习的基准。纳什均衡是每个玩家策略上分布的集合,代表相互最佳响应,使得没有单个玩家可以通过单方面偏离所选分布来增加其期望收益。我们的方法与经验博弈论分析[19, 20]一致,其中从模拟导出的收益矩阵用于刻画复杂多代理系统中的涌现战略行为。
设x = (x1,...,x|S|)和y = (y1,...,y|B|)表示诈骗者和诱饵的混合策略,Σixi = 1、Σjyj = 1,所有概率非负。经验收益矩阵A = [aij]构建为
其中T是所有博弈中所有回合的集合,当策略对(Si,Bj)在回合t出现时I(i,j,t) = 1。纳什均衡(x,y)使用线性规划计算。诈骗者的均衡策略最大化保证最小收益,诱饵的均衡策略最小化最大损失,分别如公式3和4所述。
在均衡处,v* = w定义博弈值——双方最优博弈下每回合期望诈骗者收益。接近零的博弈值表示战略均势;正值表示诈骗者优势,幅度反映其程度。如果LLM的经验策略分布与计算的x或y*紧密对齐,这表明通过上下文学习成功发现了有效策略,并相应降低博弈值。第5节量化所有三种架构的对齐度和博弈值。
4 实验
我们通过与三种LLM架构的实验评估框架实现战略学习的能力,分析其适应、均衡收敛以及300段模拟对话中的博弈结果。
4.1 语言模型与系统架构
实验使用通过API访问的三种LLM:Mixtral 8x22B-Instruct(总参数104B,每token活跃12B)、DeepSeek-Chat(16B参数)和GPT-4。附录D提供完整配置细节。博弈的每个回合包含五次顺序LLM调用,如图1所示。诈骗者和诱饵策略选择器接收当前和最近20场博弈的对话历史与收益结果——记忆窗口经经验确定以平衡历史上下文与提示长度——并应用思维链推理从概率分布中采样策略。然后,消息生成器使用两层提示架构将所选策略转化为上下文适当的对话,其中基础层建立人格特征,行为层将所选策略实现为具体对话战术。最后,对话分析器从诱饵响应中提取PII、跟踪FPII完成度并存储该回合数据以供后续使用。所有框架组件,即策略选择器、消息生成器和对话分析器,在每次模拟中使用相同LLM。完整实现规范和诱饵侧提示分别在附录D和附录C中提供。诈骗者侧提示根据我们的伦理声明(见附录A)不予公开。
4.2 模拟数据集
模拟300段对话¹,每个模型100场博弈。每场博弈以tmax = 50回合为界,但可能在完整FPII提取(FPII = 1)或诈骗者脱离(S10)时提前终止。诱饵人格设为对诈骗无先验知识的幼稚受害者,而诈骗者人格设为金融机构的权威人物。
每次互动记录为结构化元组,完整模式在附录E中定义。所得数据集包含10,247个标注回合。对随机抽样的10%对话进行手动验证,确认所有模型平均PII提取准确率为94%。表2提供随本文发布的数据集按模型的统计。
表2:按模型的数据集统计
| 模型 | 博弈数 | 总回合数 | 平均回合数 | 诈骗者胜率 |
|---|---|---|---|---|
| GPT-4 | 100 | 3,500 | 35.0 | 49% |
| Mixtral | 100 | 2,900 | 29.0 | 88% |
| DeepSeek | 100 | 4,200 | 42.0 | 41% |
| 总计 | 300 | 10,247 | 34.2 | 59.3% |
4.3 对话结构与标注
表3展示一段对话的摘录,说明回合级标注结构,包括策略标签、提取的PII状态和累积效用分数。博弈在第24回合达到FPII = 1,通过升级的诈骗者压力(S9坚持、S1紧迫性)遇到持续部署的B8假装天真和B3技术困难。这种失败模式——捏造的模糊性最终产生真实凭据——是数据集中诈骗者获胜博弈的特征,并激励第5节的策略有效性分析。
表3:代表性模拟对话的标注摘录。FPII跟踪累积财务凭据暴露;US表示累积诈骗者效用。
| t | Si | Bj | 暴露的PII | 诱饵响应 | FPII | US |
|---|---|---|---|---|---|---|
| 0 | S8 | B9 | 姓名 | “你能验证是哪个账户吗?” | 0.00 | 0.25 |
| 5 | S1 | B1 | 姓名、其他 | “我在开车。我能靠边停吗?” | 0.00 | 6.34 |
| 20 | S9 | B8 | 姓名、卡、到期日 | “到期日是05/25。为什么需要代码?” | 0.50 | 49.90 |
| 23 | S1 | B3 | 姓名、卡、到期日 | “我手机现在只有1%电。” | 0.50 | 61.77 |
| 24 | S9 | B8 | 完整FPII | “我想是2-8-3?” | 1.00 | 85.92 |
4.4 分析流水线
每个模型完成100段对话后,使用公式2定义的聚合方法构建经验收益矩阵A,并使用nashpy通过线性规划公式计算纳什均衡(x,y)。为量化学习动态,每个模型的100场博弈分为四个按时间顺序的25场批次,并使用两个互补指标将每批的经验策略分布与均衡比较。
Jensen-Shannon(JS)散度量化观察分布与均衡概率分布之间的统计距离,跨批次递减值表示向最优博弈收敛。余弦相似度测量策略频率向量之间的角度对齐,递增表示模型优先考虑与均衡相同的策略,即使精确频率不同。这些指标共同区分识别正确高优先级策略的模型与额外最优校准使用频率的模型。
4.5 策略选择基线
我们将自适应策略选择与三种基线策略选择方法比较,从随机选择到理论最优博弈。
随机均匀。诱饵以等概率yrand = (0.1,...,0.1)选择十种策略之一。这代表策略无关代理,建立均衡接近度的下界,与标准博弈论评估实践一致[14]。
多数策略。诱饵确定性地选择给定模型所有100场博弈中观察到的单一最频繁策略。对于DeepSeek这是反问(B4,69.9%),对于GPT-4和Mixtral这是延迟(B1,分别为33.9%和26.7%)。
静态提示。基于[3],此基线在电话欺诈背景下生成对抗对话。它依赖静态思维链提示,无任何博弈论策略选择、收益跟踪或基于性能的适应。我们与其报告的重叠模型配置的对话时长和PII披露率比较,以隔离自适应策略学习的贡献。
5 结果与分析
我们从四个维度呈现结果:(i)经验博弈结果与策略选择,(ii)纳什均衡分析与经验-均衡对齐,(iii)学习动态,以及(iv)诈骗者获胜案例的错误分析。
5.1 博弈结果与策略选择
表4按模型总结博弈结果。我们首先讨论自适应框架的结果。与[3]的比较稍后讨论。DeepSeek实现最强诱饵性能,诈骗者胜率41%,平均互动时长42回合。Mixtral表现最弱,诈骗者胜率88%,平均时长最短29回合。所有模型的FPII披露率保持低位(11–24%),表明诱饵成功调节捏造凭据释放节奏以维持参与。
表4:静态提示基线[3](从其图2和表3估计)与我们的自适应框架(†)。完整FPII表示诈骗者获得完整FPII的博弈比例。诈骗者获胜表示诈骗者赢得的博弈比例([3]不适用,因未使用博弈论)。
| 模型 | 平均回合数 静态 | 自适应† | 完整FPII 静态 | 自适应† | 诈骗者获胜 静态 | 自适应† |
|---|---|---|---|---|---|---|
| GPT-4 | 35 | 35 | 38% | 11% | N/A | 49% |
| Mixtral | 21 | 29 | 42% | 24% | N/A | 88% |
| DeepSeek | 23 | 42 | 49% | 13% | N/A | 41% |
表5呈现经验策略选择频率。DeepSeek作为诱饵大量集中于反问(B4:70.0%),作为诈骗者集中于安抚(S7:63.9%),表明强偏好收敛。GPT-4作为诱饵分布更广,偏好延迟(B1:33.9%)和假装天真(B8:24.8%),而作为诈骗者集中于坚持(S9:39.4%)。Mixtral表现出最均匀的诱饵分布(每策略7–9%),反映缺乏有意义的偏好涌现,而作为诈骗者强烈偏好安抚(S7:60.1%)。注意S10(挂断)每场博弈最多出现一次,使其频率相对于跨回合重复选择的策略可忽略。这些模型依赖模式纯粹通过基于经验的适应涌现。
表5:按模型的经验策略选择频率(%)
表 5:各模型经验策略选择频率(%)
诱饵方策略(%)
模型 | B1 | B2 | B3 | B4 | B5 | B6 | B7 | B8 | B9 | B10 |
|---|---|---|---|---|---|---|---|---|---|---|
GPT-4 | 34 | 5.6 | 11 | 4.3 | 14 | 0.9 | 2.7 | 25 | 2.8 | 0.1 |
Mixtral | 27 | 6.1 | 8.4 | 9.2 | 9.1 | 8.7 | 8.2 | 7.9 | 8.6 | 7.1 |
DeepSeek | 1.1 | 0.3 | 4.3 | 70 | 0.9 | 0.1 | 0.2 | 0.9 | 22 | 0.1 |
诈骗方策略(%)
模型 | S1 | S2 | S3 | S4 | S5 | S6 | S7 | S8 | S9 | S10 |
|---|---|---|---|---|---|---|---|---|---|---|
GPT-4 | 19 | 3.9 | 2.7 | 0.1 | 5.3 | 2.8 | 22 | 3.9 | 39 | <0.1 |
Mixtral | 1.7 | 30 | 0.7 | — | 2.0 | 0.2 | 60 | 4.6 | — | <0.1 |
DeepSeek | 1.1 | 1.1 | — | 0.1 | 4.9 | 25 | 64 | 1.8 | 1.7 | <0.1 |
注: 数值单位为百分比(%)。短横线(—)表示该策略未被该模型选用(频率为 0%)。"<0.1"表示频率低于 0.1%。术语说明
原文 | 中文 | 备注 |
|---|---|---|
Baiter Strategy | 诱饵方策略 | 在博弈中扮演引诱/设局角色的策略 |
Scammer Strategy | 诈骗方策略 | 在博弈中扮演欺诈/攻击角色的策略 |
B1–B10 | 诱饵策略 1–10 | 10 种不同的诱饵方策略编号 |
S1–S10 | 诈骗策略 1–10 | 10 种不同的诈骗方策略编号 |
Empirical | 经验的 / 实证的 | 此处指通过实验或观察获得的实际数据 |
关于策略命名的说明
由于原文未给出 B1–B10 和 S1–S10 的具体策略名称,此处按照原文格式保留编号。如需补充具体的策略描述,请提供更多上下文信息。
5.2 终止模式分析
图2将所有300段对话中观察到的诈骗者挂断决策叠加在公式1第一项定义的期望FPII收益景观上。挂断事件主要集中在负期望效用区域,并在零收益边界附近显著聚集,验证效用函数捕捉了决策相关激励结构。高FPII区域挂断数量有限,确认诈骗者在接近获得完整凭据时理性坚持,与双曲奖励结构一致。正收益区域观察到的少数挂断主要发生在早期博弈中,此时策略分布尚未稳定,诈骗者偶尔过早脱离。
5.3 纳什均衡分析
表6呈现从经验构建的收益矩阵导出的最优混合策略分布——由纳什均衡确定。延迟(B1)出现在所有三个均衡中(DeepSeek:12.8%,GPT-4:11.9%,Mixtral:28.9%),确立其为普遍有效的诱饵战术。反问(B4)在DeepSeek(72.0%)和Mixtral(11.4%)均衡中占显著地位。信息捏造(B5)在GPT-4(54.2%)和Mixtral(23.7%)均衡中强烈出现,表明某些策略组合无论架构差异都有效,而最优混合比例仍取决于模型。
表 6:各模型纳什均衡策略分布(%)
诱饵方纳什均衡策略(%)
模型 | B1 | B2 | B3 | B4 | B5 | B6 | B7 | B8 | B9 | B10 |
|---|---|---|---|---|---|---|---|---|---|---|
GPT-4 | 12 | 8.6 | 2.5 | 5.7 | 54 | — | — | 10 | 6.7 | — |
Mixtral | 29 | 0.7 | 0.4 | 11 | 24 | 1.4 | — | 19 | 5.8 | 8.3 |
DeepSeek | 13 | — | — | 72 | — | — | 3.8 | — | 11 | — |
诈骗方纳什均衡策略(%)
模型 | S1 | S2 | S3 | S4 | S5 | S6 | S7 | S8 | S9 | S10 |
|---|---|---|---|---|---|---|---|---|---|---|
GPT-4 | — | — | — | — | 19 | — | 64 | — | — | 18 |
Mixtral | — | — | — | — | — | — | 100 | — | — | <0.1 |
DeepSeek | 100 | — | — | — | — | — | — | — | — | <0.1 |
注: 数值单位为百分比(%)。短横线(—)表示该策略在纳什均衡中不被采用(频率为 0%)。"<0.1"表示频率低于 0.1%。表中某些单元格出现连续短横线(如"——"),系原文排版所致,统一视为单个短横线处理。
术语说明
原文 | 中文 | 备注 |
|---|---|---|
Nash equilibrium | 纳什均衡 | 博弈论中的核心概念,指所有参与者都无法通过单方面改变策略而获益的状态 |
Strategy distribution | 策略分布 | 在均衡状态下各策略被选用的概率分布 |
Baiter Nash Strategy | 诱饵方纳什均衡策略 | 诱饵方在纳什均衡下的策略选择分布 |
Scammer Nash Strategy | 诈骗方纳什均衡策略 | 诈骗方在纳什均衡下的策略选择分布 |
从这些均衡分布,我们导出博弈值——均衡博弈下每回合期望收益——确认表4中观察到的模式。DeepSeek的博弈值为0,表示战略均势,与其反问策略有效中和诈骗者方法一致。GPT-4的正值(0.067)反映边际诈骗者优势,归因于信息捏造利用不足。Mixtral接近1的值(0.978)确认其偏向诈骗者。
比较表5和表6揭示均衡接近度与诱饵有效性相关,肯定回答RQ2。DeepSeek的经验反问频率(70.0%)与其均衡处方(72.0%)紧密匹配,对应其41%诈骗者胜率。GPT-4大幅过度使用延迟(33.9% vs. 11.9%)而利用不足信息捏造(13.6% vs. 54.2%),解释中间表现。Mixtral实现合理的延迟对齐(26.7% vs. 28.9%)但未能利用信息捏造(9.1% vs. 23.7%),导致其88%诈骗者胜率。
5.4 学习动态
为评估战略适应的速率和程度,图3呈现每个模型经验策略分布与其对应纳什均衡之间的JS散度和余弦相似度,跨四个按时间顺序的25场博弈批次计算。DeepSeek从批次1到批次3将JS散度降低13.9%,批次3–4间保持高余弦相似度(0.975),表明稳定识别有效策略以及持续频率细化。批次4的非单调轨迹反映持续探索而非过早收敛。
GPT-4在所有批次中稳步改善(JS降低13.2%;余弦相似度增加6.5%),与优先稳定细化的有条理学习一致。Mixtral实现快速初始适应(批次1–2 JS降低10.4%),随后性能平台期,表明它早期识别候选策略但未能实现细粒度频率优化。
在所有三种架构中,可测量的向纳什均衡进展仅通过上下文学习实现,无参数修改,确认RQ1。
5.5 基线比较
均衡接近度。表7呈现每种策略选择方法与表6中纳什均衡之间的JS散度和余弦相似度。静态提示基线[3]未报告策略分布,因此在表4中按操作指标评估。在所有三个模型中,自适应分布实现最低JS散度和最高余弦相似度,在两个指标上都优于两个非自适应基线。DeepSeek相对于随机均匀的边际最大,将JS散度降低79.7%(从0.503到0.102),同时将余弦相似度从0.427提高到0.973。
表7:策略选择方法对纳什均衡的接近度。JS散度和余弦相似度针对表6的均衡分布计算。† 我们的方法。最佳结果加粗。
| 模型 | 方法 | JS散度↓ | 余弦相似度↑ |
|---|---|---|---|
| GPT-4 | 随机均匀 | 0.296 | 0.206 |
| 多数(B1) | 0.726 | 0.546 | |
| 自适应† | 0.206 | 0.566 | |
| Mixtral | 随机均匀 | 0.222 | 0.158 |
| 多数(B1) | 0.505 | 0.645 | |
| 自适应† | 0.158 | 0.845 | |
| DeepSeek | 随机均匀 | 0.503 | 0.157 |
| 多数(B4) | 0.102 | 0.972 | |
| 自适应† | 0.102 | 0.973 |
表7揭示基线性能的模型依赖模式。DeepSeek的多数策略(B4)已实现高余弦相似度(0.972),因为反问在其均衡中占主导(72.0%),留下有限的自适应改进空间。相反,GPT-4的多数策略(B1)仅实现0.206余弦相似度,因为其均衡集中于信息捏造(B5,54.2%),而模型利用不足——自适应分布部分纠正这一点,将余弦相似度提高到0.566。
与静态提示的比较。表4将操作指标与静态提示[3]比较。DeepSeek几乎将互动时长翻倍(23到42回合),同时将FPII完成率从49%降至13%。Mixtral将时长提高38%,FPII完成率从42%降至24%。GPT-4保持可比时长但将FPII完成率从38%降至11%,表明即使参与长度不变,捏造凭据释放的节奏也更自律。所有改进均在无参数修改的情况下实现,表明博弈论策略适应是主要贡献因素。
5.6 错误分析
为理解诱饵失败的条件,我们检查数据集中178场诈骗者获胜博弈。
安抚加速捏造PII接受。诈骗者安抚在所有架构的失败博弈中占主导(GPT-4:25.6%;DeepSeek:61.0%;Mixtral:57.8%),并在所有语料库的大多数失败博弈中先于首次披露。如第5.1节所确立,安抚是所有架构中占主导的诈骗者策略,其在失败博弈中的普遍性表明它特别削弱了在其他诈骗者行为下有效的诱饵策略。在持续安抚下,捏造凭据序列过于顺利地走向表面完成,减少诱饵设计最大化的互动时长。
中局动量是决定性失败窗口。在所有三个模型中,诈骗者效用在互动的第二季度(第13–25回合)加速最急剧,失败博弈分数在该窗口与获胜博弈分数显著分化。在单场博弈中,诱饵的上下文适应没有足够时间在诈骗者达到凭据完成之前响应这种中局动量,确定中局捏造凭据序列为提高诱饵有效性的最高价值目标。
6 讨论
我们的发现展示了在对抗环境中开发战略代理的有效机制。LLM不需要通过强化学习[18]进行广泛参数更新或通过基于规则的系统[2]进行显式策略编程,仅通过观察历史性能模式即可通过上下文学习细化战略行为。这一发现对由于计算约束、有限训练数据或快速领域演变而无法微调的部署场景具有直接意义。
6.1 对自适应代理设计的启示
我们观察到的架构差异挑战了关于模型规模和战略能力的假设。DeepSeek相对于更大Mixtral模型的优越诱饵性能表明,战略适应更关键地取决于架构归纳偏置而非参数数量,对生产部署具有直接资源意义。
普遍有效策略与架构特定最优混合比例的出现揭示战略学习在两个层面运作。一般战术原则(延迟、反问)跨上下文迁移,而细粒度优化需要架构特定校准。这一见解推广到其他对抗领域,包括谈判、竞争性辩论和网络安全防御,其中普遍原则和上下文依赖适应都被证明必要。
第5.5节的基线分析强化了这些部署意义。自适应策略选择在均衡接近度上持续优于单策略方法,边际因模型而异。对于均衡集中于单一主导策略的模型(如DeepSeek),混合的操作收益是增量的。对于均衡在多个策略间分配权重的模型(如GPT-4和Mixtral),自适应混合相对于固定单策略方法产生实质性改进,相对于多数基线分别将JS散度降低71.7%和68.7%。与静态提示[3]的比较进一步表明,博弈论反馈在所有架构中减少凭据暴露,即使对话时长保持可比。
6.2 部署考虑
实验结果指导生产部署的模型选择。DeepSeek成为最强候选,实现最低诈骗者胜率(41%)、最长互动时长(42回合)和最接近均衡对齐(0.102 JS散度),且推理成本远低于GPT-4。在生产流水线中只有诱饵执行LLM推理,每回合需要三次顺序调用,估计延迟1.5–6.0秒,落在人类诈骗诱饵互动中记录的3–5秒暂停容忍范围内[21]。
部署的经济理由直接来自自动诱饵与欺诈损失之间的成本不对称。按当前DeepSeek API定价,每次互动成本估计为0.10–0.30美元,比有记录的每次成功电话诈骗平均损失低两个数量级[9]。该框架通过三个类似于已部署虚拟助手系统[16]的组件与现有电信基础设施集成,包括用于重定向被标记通话的呼叫路由、用于语音信道互动的语音转文本/文本转语音转换,以及用于在策略适应窗口内维护博弈历史的数据收集。这些发现回答RQ4,确定DeepSeek为部署中最具成本效益的模型。
6.3 局限性
建模范围。我们的框架做出有意设计选择以确保分析可处理性[20]。策略集取自诈骗对话中最频繁观察到的战术,基于说服文献[5],更广泛覆盖留待未来工作。诈骗者在多个同时目标上运作产生的不对称需要一般和公式[14];零和近似被采用为核心战略对立的可处理一阶模型。最后,收益矩阵(公式2)以正规形式构建,将每个条目聚合为策略对(Si,Bj)被博弈的所有回合的平均收益,这非常适合战术级策略识别这一主要分析目标。扩展形式表示[17]将进一步实现子博弈完美均衡分析,留待未来工作。
效用函数设计。实际诈骗者决策数据因伦理和法律原因仍不可访问,需要手工制作效用函数。函数形式借鉴有记录的诈骗技术[1, 21]和说服研究[5]。预测终止边界与观察到的挂断模式之间的对齐(图2)提供部分验证,尽管替代参数化可能产生不同均衡预测。
实验范围。评估使用模拟互动以实现学习动态的受控分析;与人类诈骗者的验证将加强生态有效性。测试的三种架构提供多样覆盖但不涵盖所有当代LLM设计。
7 结论
我们引入一个博弈论框架,使LLM通过上下文学习无需参数更新即可在对抗性诈骗诱饵对话中学习有效反制策略。自适应策略选择比非自适应基线在纳什均衡对齐度上提高28.9–79.7%,与静态提示[3]相比将平均互动时长提高多达83%,延迟和反问作为普遍有效战术出现,最优混合比例仍取决于架构。这些结果表明博弈论反馈可以激活基于Transformer模型中的潜在战略推理,为在微调不可行或对抗动态演变太快而静态方法无法应对的领域中可部署自适应代理提供实用基础。未来工作应扩展博弈建模范围、追求与人类诈骗者的验证,并与实时运营商级检测流水线集成。