SWE-bench Pro 68.91%、Terminal-Bench 83.15%：OpenCollab 基准测试数据与 arXiv 论文完整解读

OpenCollab 是一个面向研究的多智能体协作编码框架（multi-agent coding framework），主打"可编程的协作 + 可控的运行时"。用同一模型 GPT-5.6-Luna 跑三大编码基准，它的 Duo 工作流拿下全场最高 Pass@1：SWE-bench Pro 68.91%、Terminal-Bench 2.1 83.15%、DeepSWE 65.49%。这篇文章带你读懂 基准测试数据 的每个数字，并解读 arXiv 论文（2609.38345）的核心贡献。

📊 先搞懂：这是一组"控制变量"对比实验

六套 Agent 框架（harness）跑的是同一个模型（GPT-5.6-Luna、max 推理强度），唯一变量就是框架本身。所以分差直接反映框架设计的好坏，而不是模型的差异。

每道题的平均 Token 消耗（百万）与估算成本如下：

完整原始数据（逐行通过/失败数、Token、缓存命中率）见 docs/benchmark-results.json。

一眼看出的三个结论

1. 准确率之王：Duo 在三个基准上都拿到最高 Pass@1，比最强的竞品 Claude Code 分别高出约 11、5.6、8.9 个百分点。
2. 单兵模式极省：单 Agent 的 Base 在三个基准上 Token 和成本都是全场最低——Terminal-Bench 单题平均只要 $0.19。
3. 赢在框架而非烧钱：Duo 的 Token 消耗全面低于 Claude Code，说明多智能体协作的质量提升不是靠"多花钱多试几次"换来的。成本估算公式为T × (0.2975 − 0.2185 × h)（T 为平均 Token 百万数，h 为缓存命中率），公式透明可复算。

🧪 为什么 Duo 能赢：两个候选解 + 证据裁决

Duo 的工作流程可以概括为五步：

• 候选 A：追求最简单、完整的解法，在独立工作区中完成修改与自测；
• 候选 B：端到端校验结果，包括依赖、交互与边界情况，并会重跑 A 发现的验证命令；
• 机械选择：运行时对两个候选做自动比较；
• 裁决（adjudication）：逐条追踪任务要求，检查每个需求是否有可比的测试证据；
• 采纳（adoption）：把胜出的补丁合入交付。

关键点：A 和 B 全程运行在互相隔离的 Git worktree中，共享一个有限 Token 预算。这种"双盲独立求解 + 证据裁决"的设计，让框架天然规避了"一个 Agent 把自己带偏"的单点风险——源码实现见 opencollab/builtin_workflows/duo.py，操作指南见 docs/duo.md。

逐题配对检验（sign test）进一步量化了 Duo 相对 Base 的增益：

DeepSWE 上 Duo 净增 9.73 个百分点且接近显著（p = 0.0708），Terminal-Bench 上双方差距不大（p = 0.6072），这组诚实的显著性数字反而让数据更可信。

🎯 论文核心贡献：用 Adherence 度量"协作是否真的发生"

这是论文最有洞察力的一部分。基准分数只报告最终结果，无法说明 Agent 是否真的协作了。OpenCollab 的运行轨迹显示了一个有趣的现象——"协作幻觉"（illusion of collaboration）：

• 主 Agent 给队友们布置完任务后，自己把活全干了；
• 或者主 Agent 把 Token 预算花光，还没来得及交接。

声明的"团队"实际上退化成了单 Agent。为此，论文定义了Adherence（协作遵从度）：只有当轨迹显示每个声明角色都参与、交接、角色边界、预算共享、信息流全部成立时，该次运行才算"遵从"。

在 SWE-bench Pro 上，同一个团队只改一处设置，Adherence 变化巨大：

也就是说：把交接设为强制项，或限制主 Agent 亲自动手，协作就能"真的发生"。度量方法与完整消融实验见 docs/adherence.md。

七条受控对比条件

论文还提出：要公平对比两种智能体组织方式，必须满足七条审计条件（模型、工具、Token 预算、上下文策略、拓扑、Realized、Compared）。论文对 10 个主流 Agent 框架逐项审计，只有 OpenCollab 全项打钩——未声明的通信边会被拒绝并记录，每次模型调用前都会检查该角色的剩余预算，--trace会为每一步写出带角色、事件类型和 Token 用量的 JSONL 记录。

🚀 如何亲手复现这些数据

OpenCollab 核心代码不足 5 万行（成熟竞品普遍超过 10 万行），安装和上手都很轻量：

git clone https://gitcode.com/gh_mirrors/op/OpenCollab cd OpenCollab uv sync --locked cp configs/.env.example configs/.env # 然后填入 OPENCOLLAB_API_KEY uv run opencollab --workspace .

跑 Duo 工作流只需一条命令：

uv run opencollab workflow run duo --workspace /path/to/repository \ --task '修复这里描述的公开 issue。' \ --args '{"allow_unisolated_shell":true}'

• 端点配置（兼容 OpenAI/Anthropic 接口）：configs/README.md
• 团队协作文件写法：configs/team.yaml
• 在 SWE-bench Pro 上跑官方评测，可用官方配套评测项目 OpenCollab-Eval（通过oc-eval duo单题或批量运行，自动隔离工作区、记录补丁与测试报告），说明见 docs/results.md
• 包的整体架构、CLI 与 Python API：opencollab/README.md

总结

✅分数硬：同一模型下，Duo 在 SWE-bench Pro、Terminal-Bench 2.1、DeepSWE 三大基准均取得六套框架中的最高 Pass@1（68.91% / 83.15% / 65.49%）。

✅方法新：首次提出可复算的 Adherence 指标，把"多智能体协作是否真的发生"从口号变成可审计的数字。

✅工程实：不足 5 万行代码实现完整研究级框架，曾夺得 OAIC Agentic Software Factory Hackathon 第一名（奖金池 $24,000）。

如果你正在做多智能体系统研究，或者想让 Agent 协作"有章法、可验证"，OpenCollab 的基准数据和论文方法论都值得完整读一遍——数据与文档都在仓库的 docs/ 目录里，随时可查。