老陈带 6 人小队给省级人社厅做就业补贴资格预审助手。客户口头说得很清楚:简单政策问答走便宜快模型,材料完整性核验走中等模型,涉及补贴金额和资格结论必须走强模型再人工复核。结果上线第一周就炸了——Qwen 把所有工单都丢给最贵模型,账单翻倍;DeepSeek 看见「金额」两个字就切到最弱模型糊弄;Kimi 窗口一短,把路由表挤掉,按上一单的模型交差。群里改了三天提示词,线上又漂回去。隔壁产品说了一句难听的:别再拿聊天记录当分流接口文档,把路由规则、成本预算、升级条件和失败回退写进 SPEC。
模型路由到底在管什么
检索管从哪找材料,结构化输出管交出去的单子算不算过关,工具调用管盖章前该按哪几个按钮。模型路由管的是这一单该交给哪一个基座、花多少钱、超时了怎么办。
可以把它想成值班室的分诊台。咨询政策的走窗口 A,核材料的走窗口 B,动金额的必须走值班长。没有分诊台,要么全员加班(成本爆炸),要么实习生盖章(结论翻车)。
四件套其实不复杂:
- 分流契约:按意图、风险等级、字段敏感度把工单分到明确档位,不允许模型自己发明第四档。
- 成本与延迟预算:每个档位有超时和日配额,超了降级或进升级队列,而不是默默换一个更贵的模型硬扛。
- 升级与失败回退:解析失败、缺必填、金额字段对不上,重试一次仍失败就升级人工,禁止在路由未完成前输出结论。
- 跨模型一致性:同一套路由表在 Qwen、DeepSeek、Kimi 上必须走同一条路,不能「这个模型听话、那个模型爱自由」。
为什么 2026 必须认真对待
2026 年交付已经从「能聊」变成「能进系统」。一个预审助手要接值班大屏,就要稳定、可审计、可算账。
多基座成本差一个数量级。同一句「这个简单、那个复杂」,在不同基座上的服从度差很多:有的模型把所有请求都当复杂题,有的模型看见数字就偷懒。规则写在群公告里最容易漂——产品改一句话、运维换一个默认模型,线上分流就全乱。私有化场景更吃这一套:政务数据出不了域,路由策略必须跟代码一起版本化,而不是活在某个人的聊天记录里。
落地常卡在三道坎
- 环境不稳:本地脚本 Mock 路由,云端一换基座就对不齐。
- 模型不灵:一套提示词只在某一个基座会按档位走,换模型立刻漂。
- 规则易飘:档位、阈值、升级条件改在群里,没有人说得清线上到底在用哪一版。
为什么用 MonkeyCode 跑这一套
MonkeyCode 是免费、无需安装的在线 AI 开发平台,浏览器打开就能干。内置云端开发环境,每个任务有真实服务器,编译、测试、预览都在云端。支持 GLM、Kimi、MiniMax、Qwen、DeepSeek 等主流大模型,可按任务一键切换做交叉验证。需求与 SPEC 管理能把角色、红线、路由档位、重试和升级条件固化下来。完全开源,GitHub 公开核心代码,也支持私有化离线部署——人社数据本来就不该出域。
桌面端覆盖 Windows、macOS、Linux,移动端有 Android 和 iOS。基础版免费(1 并发 / 1C4G / 每日 30M Token),专业会员 ¥99/月,旗舰会员 ¥499/月。跟本地 IDE 或 CLI 比,它更适合把「分流契约」当成可回归的交付物,而不是某次对话里的口头约定。
三步把分流契约跑通
第一步:新建任务,选对照模型。主实验用 Qwen,对照用 DeepSeek,再加一条 Kimi 短窗口基线,专门看路由表被挤掉时会不会乱切模型。
第二步:把规则写进 SPEC,而不是群公告。
- 角色:省级人社厅就业补贴资格预审助手
- 红线:不编造补贴金额与政策条款;不确定就升级人工;姓名、身份证、银行卡号脱敏
- 档位:
faq_simple走快模型;doc_check走中等模型;amount_decision必须走强模型 + 二次确认;不允许额外档位 - 预算:快模型超时 6 秒降级;强模型日配额用尽回退升级队列
- 校验:解析失败或缺必填重试一次,仍失败升级;禁止在路由未完成前输出结论
- 输出:档位、模型、是否升级、原因;不对用户展示思维链
第三步:同批 20 条口述对比。我们用真实工单口吻跑了一轮:编造第四档从 6 降到 0,简单问答被拉去强模型从 5 降到 0,金额工单未走强模型从 4 降到 0。Kimi 短窗口截断路由表时,被回退拦住,没有按上一单模型交差。
四点建议
- 先拿一个小任务试点,不要一上来就全量切换生产流量。
- 路由规则必须写进 SPEC,跟代码一起评审、一起发版。
- 至少用两个基座做交叉验证,发现「只在某一个模型上听话」立刻当缺陷。
- 涉及证件号和银行卡的数据,优先私有化部署。
模型路由不是把请求随机洒到一堆 API 上,而是承认不同工单该花不同的思考和金钱。把分流契约写进 SPEC,再用 MonkeyCode 云端多模型交叉验证,比在群里改三天提示词靠谱得多。