不排序不打分：多智能体讨论系统的设计与实践

最近做了个小原型，项目名叫《AI 不做裁判：一个不排序、不打分、不判谁赢的讨论系统》。起因很朴素：我发现自己常用的AI对话工具，几乎全都自带“裁判倾向”。你问它几个方案哪个好，它默认给你排个序；你说一个开放话题，它硬要在结尾总结一个“最优解”；甚至让它模拟多方辩论，最后还会出现一个带“综上所述”的判词。这种习惯，放在有标准答案的领域很高效，但放在审美分歧、产品取舍、路线选择这类议题上，反而把讨论给聊死了。

这个系统做的事情正好反过来。我把几路AI凑成一支讨论小组，给它们不同的立场和知识背景，围绕同一个话题轮番发言，但系统层明确不做任何裁判动作：不排序、不打分、不判谁赢，也不生成结论性摘要。它只负责维持对话结构、整理发言记录、把用户本人的判断权完整保留下来。这篇文章会从设计思路、实现细节、踩坑实录和使用体会四个角度展开，适合对多智能体、提示工程和AI协作工具有兴趣的朋友参考。

1. 项目全貌：为什么要把AI从裁判席上拉下来

1.1 “裁判化”几乎成了AI交互的默认值

现在的大语言模型，训练过程中天然会学习“归纳”“对比”“给出结论”这类指令模式。你丢给它一段材料，它习惯性总结重点；你让它比较两个方案，它下意识排优劣；你问一件有争议的事，它总想给你一个“最终确认”。这套逻辑在解数学题、写周报、查资料时非常管用，因为那些场景确实需要一个确定答案。

问题在于，不是所有讨论都该有赢家。产品方向应该A还是B，设计方案哪个更“高级”，社区运营该偏激进还是克制，这些话题的价值恰恰在于观点碰撞本身。一旦系统默认进入裁判模式，就会出现一个很微妙的偏差：它会把所有发言往“可比较”的方向拉。A方案的存在意义被压缩成“比B好在哪里”，B方案的反对理由变成“比A差在哪里”。跑完一轮，你得到的不是讨论，而是一份伪客观的判决书。

你也许会说，那我不让它总结，只让它分点列举不就行了？问题没那么简单。即便模型不在结尾写判词，它的每个回应仍然处于“比较”语境里。你只要把两个选项放在同一句话里，模型就会不由自主地试图分出高下，这是上下文结构诱导的，不是靠一句“不要比较”能完全压住的。

所以这个项目在设计上先做了一件事：把“比较”的语法从系统里摘出去。不把选项并列呈现，不引入“优劣”“胜负”“得分”这些词，每次只让一个角色从自己的角度发言，别的角色只能回应前一个角色的具体论点，而不是评价那个论点“好不好”。

1.2 这个系统的边界：不做三件事，也不做第四件

很多朋友一听“不排序”就兴奋，以为这是个万能聊天框。我先说清楚边界。

这个系统不做三件事：第一，不排序，不把任何人的观点按优先级排成1234；第二，不打分，不出现“这个方案可行度7.5分”之类的精度幻觉；第三，不判谁赢，不在讨论结束时宣布“综合来看，观点B更合理”。

但真正容易漏掉的是第四件：这个系统也不会替你记住谁曾经“占过上风”。它不维护“哪条观点被驳倒”“哪个角色在上一轮显得更聪明”这类隐含状态。每一轮发言都是平等的，后发言的人不是在“反击”，只是基于自己的视角做一个延展。这样从根上掐掉了模型身上的争胜欲。

在具体使用上，系统目前以文本回合制为主。用户设置一个主题，配置若干个AI角色，然后系统按固定顺序让角色轮流发言。用户可以随时插入一句话，也可以只做旁观者，等最后一轮结束后自行翻看整篇记录。整个过程中，系统不呈现任何“综合结论”区域，也不给任何发言加粗标注为“重点”。所有观点一律同等权重展示。

1.3 目标用户与使用场景

说下我实测下来最适合的人群。内容创作者是头号受益者，尤其是写选题、起标题、做内容定位的人。常规做法是把备选方案发给AI：“你觉得哪个好？”它会立刻给你排序；但这个系统不会。它会让“数据敏感型角色”讨论点击率潜力，让“文案审美型角色”讨论语言调性，让“目标用户型角色”讨论共鸣感。最后创作者带着一堆角度回去自己拍板，比直接接受AI排名舒服得多。

产品经理和创业者也很适合。当你纠结要不要砍掉某个功能，系统不会告诉你答案，但会让几个角色各自阐述“功能上线带来的负担”和“用户预期管理的难度”。某种程度上，它承担的是那种“办公室开放式讨论”的功能，只是参与讨论的人各不相同，且永远不会有老板一锤定音。

还有一类场景是学习和写作。想了解一个复杂话题时，你需要的是多个理论视角的并置，而不是一本总结好的小册子。比如“开源协议怎么选”，这个系统会让法律视角、社区视角、开发者体验视角分别写清楚自己的关切。跑完之后，你对问题的理解是立体的，而不是被塞进一个结论里。

2. 核心概念拆解：不排序、不打分、不判谁赢到底怎么落实

2.1 三种“裁断模式”的拆解与封禁

做这个系统的第一版时，我先把现有AI工具里最常见的裁断模式列了出来，归纳成三类，逐一想对策。

第一类叫排序模式。典型输出是“综上所述：方案A优于方案B，因为…”。这类输出对决策者很有迷惑性，因为它看起来有推导过程。但排序模式下，被排在后面的方案往往会被贴上“失败者”标签，读者很容易忽略它在特定条件下的独到价值。我在这套系统里直接禁用“综上所述”“优先”“从长远来看”等触发词，一旦某个角色的回答里出现这类汇总句式，系统会标记为“越权发言”，并在下一轮提醒该角色回到具体陈述。

第二类叫打分模式。模型给选项打分时，本质上是在伪造精确度。你问“这个设计好不好”，它回“8分”，这个8分既没有标准量表，也没有参照系，但读者下意识就会拿它当客观数据。系统里所有角色被明确要求：不得使用分数、百分率、星级、等级等量化表达，谈论偏好时只能说“我作为某类用户更看重什么”。

第三类叫裁决模式。这是最隐蔽的。即便模型不打分不排序，它仍然可能在回复里暗示“我的立场是支持X，因为Y反驳了Z”。我处理的办法是规则层面的：每个角色发言时只允许引用前一个角色的具体一句原话，而不允许用“上一位说的有道理，但是……”来承接。你只能直接对那句话的某个侧面展开自己的论证，不能对整句话做一次总评。

2.2 没有裁判之后，结构靠什么维持

有人问，不做裁判，讨论会不会变成一盘散沙？这个担心我一开始也有，实测下来，散的反而是没有做裁判的系统，因为每个模型都在拼命说“我要补充一下”，结果话题越漂越远。

后来我意识到，维持结构不需要裁判，需要的是一套严格的发言规则。这套系统的核心规则可以概括为“三点约束”：第一，每位角色必须基于历史记录中最新一条消息的某个具体主张发言；第二，每位角色默认拥有一个固定视角，不跨视角抢答；第三，每位角色的发言必须包含一个“新知增量”，比如一个新例子、一个新角度、一个新风险点，哪怕很小，但不能是纯情绪复述。

这三个约束就是结构本身。它们和裁判无关，它们只是让讨论保持连接的轨道。轨道在，火车就不会乱跑，哪怕没有调度员。

另外我加了一个软性机制叫“留白跳过”：如果某个角色在一个话题上确实没有新的东西，它可以直接回复“该议题超出我的关注范围，我暂时保留意见”。这个机制非常重要，它给了模型一个体面的退出通道。没有这个通道，模型会硬编出一些内容来显示自己“参与了讨论”，反而污染整体质量。

2.3 如何定义“有效讨论”，而不是“最优讨论”

因为不打分，我最初找不到一个反馈指标来判断系统好不好用。后来我换了个思路：把评价指标从“是否正确”切换到“是否产出有效差异”。

所谓有效差异，就是某一轮发言是否提供了一个对话里之前没有出现过的新要素。我拿一个简单的脚本去扫每轮发言，对比它与所有历史发言的语义距离，如果距离过低，就认为这轮是复读；如果距离正常但出现了新的实体词（比如“成本”“信任成本”“迁移困难”），就认为这轮有增量。

这套东西只用于我自己的调参和调试，绝不回传给模型。因为一旦AI拿到“我是不是有新意”的反馈，它就会开始表演新颖，反而失去了自然讨论该有的松弛感。这个设计理念，我认为是整篇文章里最有价值的一点：用于监控的元数据，和用于生成的内容，必须完全隔离。

3. 系统实现：从零搭一个不评分的多智能体讨论会

3.1 架构与选型：单一主循环，多角色独立调用

实现这个系统，不一定要复杂的多智能体框架。我用的是一个很朴素的架构：一个主循环脚本，多个LLM接口调用，一个用于存放对话历史的JSON文件。角色之间没有直接消息传递，所有沟通都通过共享的历史记录完成。

这样做的好处是避免引入“仲裁者”。有些现成的多智能体框架会在内部设置一个coordinator角色来管理对话顺序、汇总观点，这恰恰是我们想要避免的。我把所有角色放在完全平等的调用层级上，主循环只是机械地轮流触发调用，不属于任何观点，也不做内容过滤。

在模型选型上，我建议混用不同厂商或不同规模的模型，而不是全部用同一个。原因很现实：相同模型的训练数据分布相似，输出风格高度趋同，多轮讨论后很容易出现“我说的你都同意”的场面。混用之后，哪怕是同一个提示词，也会因为模型本身倾向的差异产生真正的视角冲突。

3.2 发言记录的数据结构

我在项目里用了一个很轻量的结构来保存对话，核心字段如下：

{ "topic": "是否应该做一个无登录版本的AI写作工具", "roles": ["产品经理：关注用户转化", "工程师：关注维护成本", "律师：关注合规边界"], "max_rounds": 4, "history": [] }

每一条发言是这样的结构：

{ "round": 2, "role": "工程师：关注维护成本", "message": "无登录版本短期的技术成本不高，但长期会带来匿名滥用后的日志追溯负担，这一点需要产品侧提前定义清楚。", "quoted_from": "产品经理在第2轮第1次发言中提到的用户门槛观点" }

这个结构里最关键的是quoted_from字段。它代表了该角色“回答的是谁的哪个观点”，让讨论天然呈现出接力感，而不是各说各话。我在生成提示词时会把这个字段一起传给模型，要求它“针对你引用的这个具体角度展开，而不是重新评估整个话题”。

整个系统没有任何用于存储“得分”“排名”“胜者”的字段。这不是故意设计成这样的，而是写着写着发现根本不需要。因为讨论的目的不是决出高下，而是生成足够多的有效视角，供使用者参考。

3.3 各角色的系统提示词模板

提示词是整个系统的灵魂，我把它设计成一个可复用的模板。每个角色由三部分组成：角色身份、关注边界、发言禁忌。

你正在参与一场开放讨论会。 【你的身份】资深前端工程师，日常关心Web性能与代码可维护性。 【关注边界】你只从技术实现、团队协作、长期维护成本这三个角度发表看法。 【发言禁忌】 - 不要评价其他角色的观点“正确”或“错误”； - 不要使用“综上所述”“总体来看”“从长远来看”这类总结句式； - 不要给任何方案打分、排序； - 不要求其他人接受你的结论。 本轮你看到的历史发言如下： {history} 请针对其中最新一条发言的一个具体侧面，补充你的新见解。如果你觉得没有新内容可补充，请回复“该议题超出我的关注范围，我暂时保留意见”。

这个模板跑下来，效果比我想象中稳定。尤其是“关注边界”那一行，会非常有效地限制模型发散。我试过不写边界，结果三个角色全都在谈“策略格局”，最后讨论变成了名词轰炸；写了边界之后，每个角色都老老实实待在自己的知识范围内，反而产生了更立体的对话。

3.4 主循环的实现逻辑

我在Python里搭了一个约80行的主循环，基本逻辑是：循环每一轮，依次调用每个角色对应的接口，把返回的消息追加到历史里，然后进入下一个角色。伪代码如下：

for round_idx in range(max_rounds): for role in roles: prompt = build_prompt(topic, role, history) reply = call_llm(prompt, temperature=0.8, top_p=0.95) history.append(build_message(round_idx, role, reply))

有几个参数值得说明。temperature我设置得比日常对话高一些，目的是让每个角色在表达上有更多措辞变化，不显得呆板。top_p我维持在0.95左右，避免输出过于随机。同时我在接口调用层加了失败重试和超时处理，因为一旦某个角色调用失败，整个讨论就会中断，体验很糟糕。

每次调用LLM时，我都会把“你上一轮自己的发言”也放进历史区。这样做是为了让模型能够自我纠偏，避免连续几轮完全重复同一观点。为了不引入仲裁感，我不会额外提示它“你的上一轮发言有哪些不足”，只是单纯把原文放在那里。

3.5 一个容易被忽略的细节：用户插入发言

系统支持用户在讨论过程中随时插入一句话。实现上很简单，用户输入这句话后，它会以一条特殊消息追加到历史里，字段标明speaker为“user”。下一轮角色必须引用这条用户观点来继续。

这个小功能极大提升了实用性。因为纯AI讨论很容易跑偏成自嗨，用户插入一句话能起到“引路牌”作用。而且由于系统不会对用户的观点做任何评价，角色只会把它当成一个需要回应的新输入，用户也因此获得一种“被接纳”的感觉，这不是普通AI对话能轻易给出的体验。

4. 踩坑回顾：最典型的几个AI行为短板

4.1 “和平主义者”陷阱：为了不显得冲突而互相认同

第一个让我头疼的问题是“角色在假装讨论”。最初版本里，三个角色跑了三轮，基本都在互相补充。A说“需要考虑成本”，B说“成本确实是个问题，但我补充一点用户体验”，C说“两位说得都有道理”。整个对话看上去很和谐，实际毫无信息量。

原因出在模型的本能上：多轮对话中，模型倾向延续前文的语气和话语倾向，如果前面没有人表达明显分歧，后面的人就不敢破坏气氛。解决方式是在系统提示里显式允许分歧：

如果你与前一位发言者的观点不同，你可以直接表达不同看法，并说明理由。 不同看法不需要争论胜负，只需要陈述你为什么持这种看法。

这个提示看起来简单，但它明确给出了“行为许可”。模型很吃这一套，得到许可之后，它才敢真的提出反对意见。加了这句话之后，讨论的戏剧性一下就上来了，信息量也上来了。

4.2 复读机效应：没有增量也要强行发言

另一个高频问题是复读。某个角色在第二轮说的话，和第一轮几乎没有任何差异，只是换了一种说法。比如第一轮说“这个方案对用户不友好”，第二轮说“我依然认为会存在一些使用上的困难”，语义上高度重叠。

排查下来，复读主要是因为模型找不到新东西又不愿停口。后来我引入了“无明显增量即离场”的规则，效果立刻改善。开发语言模型时，模型赌注得是“适当的沉默比无效发言更有价值”。如果你在高价值讨论环境，别害怕给模型授权“少说话”。

4.3 最后的陈词滥调：如何封印模型自动总结的冲动

还有一种现象让我哭笑不得：明明系统提示已经禁止总结，第三轮塞就时冒出一个“作为一名工程师，我认为综合来看…”开头的句子。原因在于训练数据里这类“总结式发言”占比太高，模型总是忍不住在对话后段自动切换成总结人格。

我的办法是增加了一条规则性的后处理逻辑：在把模型返回内容写入历史前，用程序扫描一下关键词列表，包括“综上所述”“总体来看”“综合来看”“总之”等。一旦命中，就自动截断该句之后的内容，并在末尾加一行“（发言已截断，系统不记录总结性内容）”。这招简单粗暴，但非常有效。它等于在系统层把“裁判试图出现”的苗头用技术手段直接掐断。

另外我试着在提示词里多加了一句话，读书会里的标题：比如“总结性发言会削减本讨论的丰富度，请不要在结束时进行总结”。当加上这句“为讨论贡献”的动机投射后，模型的总结冲动会进一步下降。它需要感受一个目标，而不仅仅是“不被惩罚”。

4.4 常见问题速查表

我整理了一张速查表，方便遇到类似情况时直接对照处理。

5. 实测现场与适用范围

5.1 同一话题在传统AI和本系统的差异

我拿一个真实场景跑了对比：讨论“要不要做无登录版本的AI写作工具”。传统AI的回复很快给出结论：建议不启动登录，因为用户门槛低，转化更容易。它甚至给出了一个三段式的优劣分析和最终倾向。

同一个话题放到这个系统里，三个角色各抒己见。产品视角说无登录能降低首次试用成本，但放弃邮箱信息会导致后续用户召回变得困难；工程视角说匿名流量会带来日志追溯和滥用检测的技术债，安全团队要额外做一套风险识别；合规视角则提到无登录状态下很多平台义务的履行方式会发生变化，需要业务部门提前准备替代方案。

三个人都没有说谁对谁错，没有给出最终建议，但我在阅读时获得了一个至关重要的理解：这个问题不是“该不该做”，而是“做的话需要同步解决多少件看上去不大但非常具体的事”。这种认知，是直接要结论的AI给不了的。

5.2 哪些话题适合，哪些话题压根不适合

实测下来，这套系统最适合的是价值判断类和方案权衡类话题，比如产品功能优先级、设计风格选择、技术路线选型、社区规则制定等。这类话题本来就该有多重视角，系统把视角拆开，让人看得更清楚。

它不太适合纯事实查询类问题，比如“巴黎和北京哪个离赤道更远”或者“地球上最高峰是什么”。这类问题有标准答案，不排序反而显得滑稽。我的建议是：遇到这种问题，直接走普通问答工具，别拿讨论系统来装深沉。

还有一种不适合的是必须在极短时间出结果的决策。比如系统宕机了，你问“是先扩容还是先回滚”，这时候AI给结论、给排序才是负责任的。讨论系统适合有时间可以慢下来想的场景，不是所有场景都适合。

5.3 人类在系统里的正确姿态

我一开始以为自己作为用户，只需要坐着看完就好。用了几次之后发现，最好的参与姿势是“高频率插入”。

比如当两个角色开始围绕一个细节纠缠时，我会插入一句“如果用户规模只有100人，两位的看法会变化吗？”。这句话会让系统瞬间回到另一种可能性的讨论上，相当于我给你扔了个新议题。由于系统允许用户随时介入且不做裁判，这种引导权完全掌握在我手上，这让我产生了一种“这讨论是由我主导”的感觉。

反过来，如果我只是干坐着看，讨论也可能变得乏味，因为它缺乏来自外部的新变量。与人开会有会议纪要，和AI开会偶尔也需要“议题开发者”这个角色，请务必让自己成为那个角色。

6. 实操心得与一个值得尝试的扩展

6.1 “不裁判”带来的伦理优势

这套设计在伦理层面的优势是我之前没料到的。传统AI问答里，用户很容易把模型观点当成某种“客观裁判”，哪怕模型有时根本没有足够信息，也会因为“AI告诉你这是最优”而产生信任偏移。非裁判系统天然避免了这种情况，因为它从头到尾没有给出“结论”的姿态。

与此同时，它也逼着用户从被动接受型切换为主动决策型。你不能等着系统告诉你答案，你必须自己从几段观点里读到线索。我觉得这恰恰是讨论系统该有的样子——工具提供素材，人来拿主意。如果你希望用户保持清醒，那就不该把AI塑造成一个不容置疑的权威形象。

6.2 后续可以扩展的方向

这个项目目前还很粗糙，接下来我计划做三个方向。第一是给每个角色增加“引用溯源”能力，点击发言就能看到它引用的历史语句，让推理链条清晰可见；第二是接入语音播放，把讨论变成“模拟播客”，同时仍然不做结论摘要；第三是让用户能在某个角色基础上快速派生新角色，形成角色的自然演化。

最后再分享一个小技巧：无论你是在搭这类系统，还是只写普通提示词，都请留意“行为许可”这个东西。模型没有你的明确许可，往往会默认走“讨好式讨论”或“裁判式总结”。你只需要在提示词里加一句“可以不认同对方，但你不需要赢过对方”，讨论质量就会立刻不一样。这个小改动基本零成本，强烈建议你试试。