我是做自然语言处理应用开发的，这几年和提示工程打交道的时间，比和传统特征工程打交道的时间还长。在这个过程中我越来越确定一件事：提示工程被严重低估了，但这种低估不在于“技术含量低”，恰恰相反，它其实是控制论里那套“黑箱辨识”方法论的当代翻版。大多数人把它当成咒语背诵，少数人把它当成编程语法，但真正能吃透的人，是把它当成一门实验科学在做。
控制论里有个经典概念叫黑箱。你不需要知道箱子内部的结构，只需要通过外部输入和输出之间的对应关系来推断它的行为规律。这不就是我们每天面对大模型的处境吗？模型的参数规模、注意力权重、tokenizer规则，我们能看到的东西几乎是零。我们能控制的只有输入文本，能观察的只有输出文本。提示工程说白了就是一门“黑箱辨识术”——用可控的输入扰动去探测不可见的内部行为，然后建立一套可预测的映射模型。
这篇内容我想把这些年用控制论思维做提示工程的经验完整地讲一遍。包括我怎么理解模型的“黑箱性”，怎么做系统化的辨识实验，怎么从“提示词玄学”转向“可验证的工程方法”，以及几个亲历的排查案例。适合所有被提示词搞到头疼的人，不管是写代码的、做产品的，还是单纯好奇大模型行为规律的人。
1. 提示工程被当成“咒语”，而它其实是更硬核的控制论问题
1.1 黑箱理论在提示工程里到底意味着什么
控制论对黑箱的定义很简单：一个系统，你只能从外部施加输入并观测输出，系统内部机制不可直接获取。我们与大模型的交互就是标准的黑箱场景，你输入一句话，它吐出一段文本，中间的数亿参数、注意力分布、概率采样过程，对普通使用者来说完全不可见。
但这里有个关键点常被忽略：黑箱辨识不是让你放弃理解，而是让你换一种方式建立理解。控制论工程师面对一个未知系统时，会设计一整套输入信号来探测系统响应，比如阶跃输入、脉冲输入、正弦扫描，然后根据输出响应曲线来估计系统的传递函数。提示工程本质上是一模一样的流程，只不过信号从电压变成了自然语言，响应从电流变成了生成文本。
我在实际工作中经常看到两种极端。一种人把提示词当成咒语，抄几个模板就来回来去试，祈祷模型这次听话；另一种人把提示词当成严格编程语言，认为一定存在某种“正确语法”能让模型稳定服从。这两种态度都偏离了黑箱辨识的本质。前者缺乏系统性，后者忽略了系统的未知性。真正的做法应该是：承认模型是不完全可知的系统，然后用实验方法去逼近它的行为边界。
我在某个人机对话项目里做过一个有趣的验证。同一个任务描述，加了不同的示例后，模型的输出风格会发生明显偏移。当时有同事说这是“提示词的玄学”，但我后来用控制论的视角看，这不过是一个非线性系统暴露出了它对输入条件的敏感性。真正的问题不是“为什么它变了”，而是“我们要怎么测量这个变化，并利用它”。
1.2 为什么“可观察性”比“可解释性”更现实
在提示工程领域，有一种流行的执念是追求可解释性。很多人希望搞清楚模型内部到底怎么理解一句话，于是去看注意力权重、看神经元激活、看表征空间。这些研究当然有价值，但在工程落地的时候，效率太低了。
黑箱辨识提供了另一条路：不追求彻底打开箱子，而是通过输入输出关系建立行为模型。这就够了。就像你不需要知道空调内部压缩机的具体转速算法，只需要知道设定26度能达到什么温度范围，你就能正常使用它。提示工程的落地能力恰恰取决于你能否建立这种“输入-行为”层面的可靠映射。
我在业务中摸索出一个结论：好的提示词工程师，本质上是优秀的实验设计者。他关心的不是“模型内部发生了什么”，而是“我改了输入的哪个变量，输出的哪个指标发生了可预测的变化”。这个能力可以被训练，而且是刻意训练出来的。
1.3 提示工程的黑箱辨识目标：不是让模型“懂”，而是让它“稳”
很多团队的提示词目标是“让模型回答正确”，但我的经验是，这个目标定得太粗了。黑箱辨识的核心目标是建立输入与输出之间的稳定映射关系，换成提示工程的语言就是：同样的任务描述，在相同条件下应该稳定产出符合预期的行为模式。
“稳”比“对”更重要。对一个黑箱系统的辨识，如果响应曲线是杂乱无章的，你根本无法建立可用模型；只有响应可重复，你才能从中提炼规律。我做提示词优化的时候，第一件事永远是采样多次、看方差，而不是只看一两次输出对不对。
举个实际例子，某次我在调整一个文本分类任务的提示词，用了某种复杂约束描述后，单次回答看起来非常专业，但换一种措辞、换一个随机种子，输出就开始漂移，甚至跑到完全不同的类别上。这个现象说明系统在这个输入区间是不稳定的。后来我把约束简化、把分类候选写成结构化列表，方差立刻降下来了。这里的本质，是通过调整输入空间来提高系统的可辨识性。
2. 大模型不是一个黑箱，而是无数个黑箱的组合
2.1 输入空间的维度比你想象的多
初看提示工程，你的输入就是一句提示词。但只要实际做一段时间就会发现，真正影响输出的变量远不止这一句话，对话历史、角色设定、示例数量、示例顺序、输出格式说明、温度参数、采样种子，每一个维度都在扰动这个黑箱的响应。
这些变量构成了一个多维输入空间，黑箱辨识的第一步就是在这个空间里找到哪些维度是“主效应”，哪些是“交互效应”。我在实践中发现，很多提示词问题的根源不是某个变量没设对，而是几个变量之间发生了耦合。
比如我经历过一个智能客服项目，对话历史中即使出现一条和当前问题无关的旧消息，也可能让模型改变回答风格。单独看提示词没问题，单独看对话历史也没问题，但组合起来就出问题了。这就是一个典型的输入维度交互效应。
2.2 系统的“内部状态”会随时间漂移
和传统黑箱辨识不同的是，大模型这个系统不仅有输入输出映射，还有一个极其复杂的“内部状态”——体现在token的概率分布上下文里。更麻烦的是，这个内部状态会随着对话轮次和内容不断更新，导致同一个提示在不同状态下产生不同响应。
这一点在控制论里也有对应概念：时变系统。静止不动的黑箱容易辨识，但一个参数在线上漂移的系统，辨识难度直接翻倍。大模型在长对话场景下就表现出强烈的时变特征，前几轮表现稳定的系统，到第20轮可能完全变了样。
应对这种时变性，我在工程上采取的做法是建立“状态检查点”：在对话的关键节点插入指令式的自检语句，把当前系统的行为模式拉回到预期轨道上。这就像控制论里的反馈校正，通过不断施加修正量来对抗漂移。
2.3 多模态与工具调用：黑箱外面又套黑箱
现在的大模型系统往往还挂接了工具调用模块、知识检索插件、外部数据库和代码解释器。这让黑箱辨识变得更有意思：模型的文本生成能力是个黑箱，工具调用的决策逻辑又是一个黑箱，两个黑箱串行在一起，输出信号被层层变形。
有一次我调试一个能够查天气的助理系统，发现模型在用户没有明确要求的情况下频繁调用查询工具。单看文本生成模块，它没有输出任何异常，但工具调用模块却独立判断了“需要查询”。这说明在复合系统中，我们需要对每个环节单独做辨识实验，而不是把整个链路当成一个不可分割的大黑箱。
好的做法是给系统设计“观测点”：记录模型在每一轮的内部决策置信度、工具调用的参数、检索命中的文档片段。这些中间信号虽然不是模型的全部内部状态，但能帮助我们把大黑箱拆解成几个可以分别辨识的小黑箱。
3. 一套可复用的辨识流程：从假设到验证的四个动作
3.1 先设定观测指标，再谈响应模式
黑箱辨识的第一件事不是写提示词，而是定义“输出信号”怎么测量。在控制工程里，测量对象可能是温度、电压、转速，单位明确、量纲清楚；但模型输出的测量指标却很模糊。是看关键词命中率？看语义相似度？看格式合规性？还是看人工评分？
我在实际项目中总结出一个原则：指标至少要分两层。第一层是可自动计算的硬指标，比如分类准确率、答案是否包含指定字段、格式是否合法；第二层是需要人工判断的软指标，比如语气是否自然、逻辑是否连贯、立场是否中立。硬指标用来做初步筛选，软指标用来做人工质检，两层指标配合才能对一个黑箱形成完整的行为画像。
还有一个常被忽略的点：输出信号要采样多次再看分布。大模型的生成带有随机性，一次输出只是一个样本点。我在做辨识实验时，至少采样5次以上，很多时候是10次，然后看均值、看方差、看边界值。没有统计量的辨识等于没有辨识。
3.2 控制变量：一次只动一个旋钮
做黑箱辨识最忌惮的做法是“大杂烩式调整”，一句话里同时改了角色设定、加了示例、换了语气、改了格式要求，然后输出变了，你根本不知道是哪个变量起了作用。控制变量的原则说出来简单，做起来真的需要纪律。
我在每次调试提示词的时候，会维护一份输入变量清单，每次只修改其中一个变量，其他全部保持不变。这个习惯帮我解决了很多“提示词不可复现”的难题。比如某次我发现，固定其他条件只把数字列表从“1.2.3.”改成“①.②.③.”，模型对细节的遵循程度就直接提升了一个档次。这个发现如果混在其他变更里，可能永远也定位不出来。
另外一个容易被忽略的控制项是模型配置参数。如果你在比较两种提示词但温度参数不同，输出的差异可能根本不是提示词导致的。这种混淆变量随处可见，需要时刻保持警惕。
3.3 扰动测试：用边界输入探测行为边界
控制论里有“阶跃响应”这个概念，给系统一个突然的输入变化，观察输出的过渡过程。在提示工程里，我们同样可以设计扰动输入来探明模型的行为边界。
我喜欢用三类扰动来做测试。第一类是语义等值扰动，用完全不同的句子表达同一个指令，测试模型的语义理解稳定性；第二类是极端输入扰动，故意加入模糊、矛盾、超长、缺失信息的输入，测试模型的边界处理能力；第三类是干扰项扰动，在输入中混入与任务无关的信息，测试模型的注意力鲁棒性。
这三类扰动做完，一个黑箱的行为轮廓基本就能勾画出来。比如一个摘要任务提示词，通过语义等值扰动测试，你会发现哪些关键短语是不能替换的“死穴”；通过极端输入测试，你会发现模型面对空文本时的默认行为；通过干扰项测试，你会知道模型能不能从满屏噪声中认出真正的指令。
3.4 建立行为模型：从观察结果到可预测规则
辨识的最终目的是建立模型。控制论的模型可能是微分方程，提示工程的行为模型则是一组If-Then规则。这组规则表达的是：在何种条件下，采用何种输入结构，系统会表现出何种响应模式。
行为模型的建立要特别注意“过度拟合”的风险。某个提示词在你的20个测试用例上表现得天衣无缝，换一批真实场景又开始飘了。这个现象在黑箱辨识上的解释是：你的实验设计没有覆盖系统的重要状态空间，只在局部区域做了辨识。
我在工程上对此采取的做法是，每次提示词优化完成后，都要用一批“未见过的样本”来做验证。这批样本从真实用户反馈和业务日志里抽取，绝不和开发测试样本重叠。只有在未见样本上表现良好的行为规则，才有资格进入生产环境。
4. 我亲历的一次“提示词失控”排查：把玄学变成实验
4.1 现象：同一句指令在不同示例下出现“奇偶差异”
有一次我在开发一个合同要素抽取工具，发现一个极其诡异的现象：同样一个抽取指令，当示例列表里有4个示例时，模型表现正常；当示例列表里换成5个示例后，输出格式开始走样，某些字段直接漏掉了。后来同事又试了6个示例，表现又恢复了一些。这种“奇数示例就出问题，偶数示例就正常”的规律，听起来完全就是玄学。
团队里有人开玩笑说模型是“奇偶敏感体质”。但我当时刚接触黑箱辨识的思路，坚持按实验方法排查，没有跟着感觉走。我决定把这个现象当成一个待辨识的黑箱行为，首先做的是复现实验。
4.2 排查链路：从猜测到可控实验的完整过程
第一步是锁定变量。我把示例数量从2个逐步增加到8个，每个数量都跑10次，记录格式合规率和字段召回率。结果发现，所谓“奇偶差异”其实并不严格，真正的问题出现在示例数量跨越某个区间时，部分字段的召回率突然掉到一半以下。
第二步是隔离因素。我怀疑问题不在示例数量本身，而是示例里包含的不规则实体数量和类别影响了模型的抽取模式。我设计了一个对照实验：固定示例数量，只替换示例里的实体类别分布，结果发现当示例中的实体类型覆盖不均时，模型确实更容易漏掉覆盖较少的类型。
第三步是验证假设。我根据“覆盖不均”假设重新设计示例集，保证每个目标字段至少出现在两个示例中，困难格式放在最后。改完后，无论示例数量是4个还是5个、6个还是7个，召回率都稳定在了95%以上。那个“奇偶差异”也就自然消失了。
4.3 这个案例揭示了什么：表面规律往往只是真实原因的影子
回顾这次排查，最有价值的收获不是“示例要怎么放”，而是方法论层面的：表面上的“奇偶差异”是一个误导性规律，如果停在那个层面去调参，永远不会触及根本。
真实原因是模型从示例中推断抽取模式的“注意力分布”被不均衡的示例设计带偏了。黑箱辨识最反直觉的地方就在这里：你用表面输入对应的表面输出去推断规律，得到的往往是一个伪规律。只有通过控制变量和扰动测试，把表面的响应模式拆解到更细的输入维度，才能逼近真实的行为机制。
此后我再遇到类似的“灵异问题”，第一反应永远是列变量、做表格、跑统计，而不是急着换提示词。因为每次表面变化背后，几乎都有更深的结构性原因在起作用。
5. 辨识思维重塑提示词设计：三个实际模式
5.1 给输入空间“做结构化”：让黑箱的可观测性更好
一个黑箱系统的可辨识程度，很大程度上取决于实验者能否设计出“信息量丰富”的输入信号。在提示工程里，这意味着你要把输入文本构造得更结构化，让模型的响应更容易被观测和比较。
我在实践中最常用到的结构化手段有三个。第一个是“标签化指令”，把任务类型、输入内容、输出格式分开定义，用明确的标记符分割；第二个是“候选列表”，对于分类或选择类任务，把所有可能的选项显式列出，而不是让模型自由发挥；第三个是“输出模板”，给定JSON结构或Markdown表格作为输出骨架，将无序生成变成填空任务。
这些手段之所以有效，是因为它们压缩了模型输出的自由度。自由度下降，行为模式的可重复性就上升，辨识实验的统计功效也随之提高。一个只有十几种可能输出的系统，比一个理论上可以输出无数种文本的系统，辨识起来容易太多了。
5.2 角色化不是装饰品，而是给辨识实验加了“先验”
很多人觉得给模型设定角色纯粹是风格装饰，但从黑箱辨识的角度看，角色设定实际上是在给系统的行为响应加入先验约束。就像控制论中我们了解被控系统的部分物理特性（比如电机有惯性、弹簧有弹性），就能更快地辨识出合适的控制参数。
角色设定的大致逻辑也是如此。你跟它说“你是资深律师”，它内部的注意力分配、词汇选择、推理风格都会向该角色的分布偏移。这种偏移并非魔法，而是模型在训练阶段学到的人类文本模式的自动激活。
但角色化的使用要克制。我发现，如果一个任务需要精确的格式输出，加入过于强烈的角色设定反而可能增加输出方差。原因是角色的“拟人化压力”会让模型更倾向于生成自然语言而不是结构化内容。最好的做法是把角色设定和行为约束分层：角色给高层的语气和立场，格式化指令给低层的结构和粒度。
5.3 把中间推理暴露出来：给辨识增加观测点
控制论的黑箱辨识有一个经典技巧——引入可测量的中间状态变量。在大模型场景里，“链式思考”就是一个典型的中间观测点设计。你让模型先写出推理步骤再给出最终答案，相当于在输出端附加了一层内部过程的投影。
这个设计的辨识价值很高。它不只是让答案更准，更重要的是让你能看清模型的推理路径。当输出错误时，你可以从推理步骤中定位“错误究竟是从哪一步开始产生的”，而不是面对一个黑漆漆的最终结果无从下手。
用完链式思考之后，建议还是在最终输出里单独提取结论部分。因为推理过程的噪声很大，把它当最终输出既影响效率也影响用户阅读体验。好的设计是：推理仅作为过程观测，结论作为最终交付。
6. 辨识思维带来的几个反常识结论
6.1 大模型不是一个“模型”，而是多个系统的叠加
做了大量黑箱辨识实验后，我最强烈的一个感受是：把大模型理解成单一的“智能体”会误导你对它的直觉。从行为上看，它更像一系列在不同输入条件下激活的子系统的集合，有些子系统偏逻辑推理，有些偏语义匹配，有些偏风格模仿，有些偏格式生成。
这个视角解释了为什么提示词中的“切换信号”如此有效。你告诉它“现在开始写代码”，并不是在说服整个系统改变心思，而是在激活那个与代码生成相关的子系统，并通过上下文把其他子系统的权重压低。你在做的更像是黑箱辨识中的“模式识别”：发现输入信号的哪些特征与系统的哪些响应模式相关，然后刻意地放大这些特征。
6.2 提示词工程师最像实验科学家，而不是文案写手
市场上招聘提示词工程师时有一种倾向，以为这是“会写prompt的人”就够了，但真正的提示词工程设计能力是实验科学素养。
一个系统的辨识过程需要你有清晰的假设、严格的变量控制、可重复的实验设计和基于统计的判断习惯。我见过很多文笔极好的同事写出来的提示词华丽但不可控；也见过实验素养好的工程师用极朴素的语言造出极稳定的行为。后者才是黑箱辨识术的真正体现。
如果你想在这个方向深耕，我建议训练以下三个习惯：每次改动只动一个变量；每次评估都采样多次并记录方差；每次结论都能说清“在什么条件下成立”。这三个习惯就是控制论实验精神的日常版。
6.3 辨识的终点是“够用”，而不是“全知”
最后我想说一个更接近哲学层面的体会。黑箱辨识的本质追求不是彻底理解系统，而是建立一个足够好的行为预测模型，让工程目标能够达成。
面对大模型，我们永远无法获得完全的确定性，但这不意味着我们没有应对之道。通过辨识建立的行为规则、通过实验得出的边界条件、通过统计得到的稳定性区间，足以支撑大多数业务场景的商业化落地。剩下的不确定性，要么通过系统架构去兜底（比如增加人工审核环节），要么根据收益递减规律果断止损。
我在实际项目中的取舍标准很简单：如果经过三轮系统实验后，一个提示词仍然无法在关键指标上达到目标，那我不会继续在提示词层面死磕，而是去换模型、换架构方向。黑箱辨识给你的不是万能钥匙，而是让你有能力判断“这把锁到底值不值得继续开下去”。
从“玄学”到“实验科学”，是提示工程从我这里获得的最重要的一次认知升级。它让我明白，面对AI这个复杂黑箱，我们最需要的不是敬畏，也不是迷信，而是一套扎扎实实的辨识方法论。这套方法论源自控制论，但它的精神实质其实非常简单：你别管箱子里怎么运作，你只管把输入信号设计好、把输出信号测准，然后把规律找出来，剩下的都是时间和经验的累积。
