AI狼人杀评分系统优化

一、前言

我根据设计的测评系统，我们进行了多轮测试，在测试过程中，我们发现这个系统的打分效果比较差，于此同时，在测评时因为大量的llm调用，测评时间也比较久。所以，我们对这个评分系统进行了一下修改，我们要设计函数来进行打分，不能都调用大模型，这样确实太耗费时间了。只有对于那些打分比较模糊的，我们再去调用大模型来进行打分，这样既可以节省时间，也可以提升准确度。

二、架构优化

这里，我还是设计了Three-Tier Per-Step Decision Scoring（三档逐决策瀑布式评分）。规则评分、轻量llm评分、三方llm评分。这样减少了大模型的调用，可以大大提升测评的效率。

核心思想是这样的：

> 95% 的决策其实可以用确定性规则打分。

剩下 5% 里，大部分用一个轻量 LLM 就能搞定。

真正需要三方专家仲裁的，不到 1%。

在这个架构下，与其给每条发言都拉三方专家，不如先把规则能确定的事情解决掉，大大提升了系统运行效率。

三、具体实现

3.1Tier 1 规则评分

我写了三个方法：score_vote/score_speech/score_night，

每个都是纯函数式的，输入是decision + state，输出是DecisionScore。

每条决策都是从四个维度打分：

那么核心评分机制（拿score_vote举例）：

correct = 0.95 if 投给狼人 else (0.15 if 投给强神 else 0.35) overall = round( 0.50 * correct + 0.25 * reasoning_quality + 0.10 * timeliness + 0.15 * impact, 3, )

其中reasoning_quality我用了几个简单的特征：

文本长度（>80字符+0.15，>200字符+0.10）
包含"因为/所以/如果"等逻辑词+0.10
包含"X 号"或"BotX"等具体玩家引用+0.10

发言质量中我还加入了防止身份泄露的，如果有时候ai泄露自己身份会扣除部分得分。这个规则能抓到很多 AI 玩家白天自爆的低级错误。

for w in ["我是预言家", "我是女巫", "我昨晚毒了"]: if w in text: risk_flags.append(f"泄漏身份: {w}") correct = max(0.10, correct - 0.30)

4.2 Tier 2 轻量 LLM

只在correctness ∈ (0.2, 0.8)（或者类似区间）时才升级到 LLM。具体到我们的这个项目，调用本项目已有的 LLMSpeechEvaluator。如果引入新的客户端就会触发重复初始化（~5 秒的开销）。这样可以减少五秒的开销，提升速度。

这里我们是复用的之前的三专家系统来进行打分。相较于之前把所有的都调用三专家，我们这里只有部分评分模糊的才会调用。

代码如下：

def _score_with_light_llm(self, score, action, state): if self._llm is None: return score try: result = self._llm.evaluate( player_id=score.player_id, speech_content=text, ... ) llm_score = max(0.0, min(1.0, result.final_score / 100.0)) score.light_llm_score = llm_score score.scoring_tier = "light_llm" except Exception as e: score.metadata.setdefault("llm_error", str(e)) return score

每个专家输出结构化的 ExpertScore ，包含分数、理由、优缺点和改进建议。三专家的平均分归一化到 [0, 1] 后覆盖 Tier 1 的 overall_score 。

4.3 Tier 3 重 LLM 评分（3-Judge Panel）

Tier 3 是为高影响 + 高模糊的决策设计的终极评分层。

需要两个条件同时满足：

1. 模糊 ：Tier 1 拿不准（correctness ∈ (0.2, 0.8)）
2. 高影响 ：该决策对局势影响大（impact > 0.5）

if s.needs_light_llm and s.impact > 0.5: s.needs_heavy_llm = True

Tier 3 的核心是 3 次独立评估取中位数 ：

为什么用中位数而不是平均数？因为 LLM 评估存在随机性，单次评估可能因为 prompt 理解偏差产生离群值。中位数对单个离群 judge 更鲁棒。

# 关闭缓存，强制 3 次评估独立 self._llm.cache_enabled = False for run_idx in range(3): result = self._llm.evaluate(...) judge_scores.append(result.final_score / 100.0) # 中位数（而非平均数）—— 对离群 judge 更鲁棒 sorted_scores = sorted(judge_scores) median = sorted_scores[1] # 一致性指标 spread = max(judge_scores) - min(judge_scores) agreement = 1.0 - spread

四、总结

三层瀑布式评分系统的核心思想是 分级评估、按需升级 ——用确定性规则覆盖大部分决策，只在模糊地带才引入 LLM 评估，在评分精度和计算成本之间取得平衡。这种架构不仅适用于狼人杀，也可以推广到其他不完全信息博弈场景的 AI 评估中。

在本次方法优化中，我也学到了确定性优先于随机性。能用规则解决的，不要丢给 LLM。这样可以大大节约成本和时间。