free-coding-models AI Speed Test详解:用真实提示词测出模型TPS吞吐,告别平均延迟误导
【免费下载链接】free-coding-modelsFind, benchmark and install in CLI 170+ FREE coding LLM models across 15+ providers in real time项目地址: https://gitcode.com/gh_mirrors/fr/free-coding-models
free-coding-models(FCM)是一款免费编程大模型实测工具:它实时 Ping 25 家提供商的 170+ 免费编码 LLM,并内置AI Speed Test——用真实提示词发起一次完整生成,测出每个模型的TPS(每秒 token 数)吞吐与真实响应延迟,帮你在动手写代码前挑出"真的快"的那一个。
为什么平均延迟会误导你?
日常 Ping 只测"服务器回应的快慢",而真实编码体验取决于整段回答的生成速度。一个平均延迟 250ms 的模型,如果随机尖峰到 6 秒,体感反而不如稳定的 400ms 模型。
FCM 因此用两条独立的证据链帮你避坑:
| 指标 | 回答的问题 | 来源 |
|---|---|---|
| Stability 稳定性分 | 这个模型是否持续稳定? | p95 延迟、抖动、尖峰率、可用率加权,详见 docs/stability.md |
| AI Latency + TPS | 完整生成一段真实回答要多久、多快? | AI Speed Test 真实补全请求 |
⚠️ 只信平均延迟,你会被"运气好的一次 Ping"骗到;AI Speed Test 测的是完整生成过程,才代表你写代码时的真实等待。
一键运行 AI Speed Test 的最快方法
在 TUI 中只需两个快捷键:
↑↓选中一个模型,按Ctrl+A:对该模型发起一次真实补全,报告AI Latency(总耗时)+ TPS(吞吐)- 按
Ctrl+U:对当前所有可见模型批量跑全局基准测试 - 在设置(
P)中开启Startup AI Speed Scan,启动后自动跑全局基准,无需手动触发
完整键位表见 docs/tui.md。批量测试时列中会显示旋转动画,测完自动填入数值,按表头点击即可按 AI Latency 或 TPS 排序。
TPS 是怎么算出来的?(原理速览)
AI Speed Test 的测量逻辑集中在 src/core/benchmark.js,核心设计对新手很友好:
- 固定真实提示词:内置确定性问题"Why is the sky blue?",要求模型用 80–100 词写一段连贯短文(src/core/benchmark.js)。足够长的输出,TPS 才有统计意义
- 可复现:
temperature=0、max_tokens=140,同一模型多次测量结果一致 - 优先取官方 token 数:读 API 返回的
usage.completion_tokens;接口没给时,用"字符数 ÷ 4"估算并明确标注 - 抗抖动:单次超时 20 秒,失败自动重试最多 3 次(间隔 15 秒),专门对付 429 限流和临时故障——这正是免费模型的常态(src/core/benchmark.js)
算出的结果直接渲染成两列:AI Latency显示总耗时(如4.3s),TPS显示取整的吞吐(如13),格式见 formatBenchmarkTps。
读懂结果:TPS 列与重试徽章 ↻
测完后重点看三处:
| 显示 | 含义 | 怎么解读 |
|---|---|---|
| AI Latency | 完整回答的墙钟耗时 | 越低越好,但需结合 TPS 看 |
| TPS | 每秒生成 token 数 | 越高越"跟手",长回答越受益 |
| ↻N 徽章 | 第 N+1 次尝试才成功 | 出现即说明该模型当前有负载或限流,谨慎选择 |
💡 一个模型可能 AI Latency 漂亮但 TPS 偏低——说明首响快、吐字慢,写长代码时体感会卡。两个数配合稳定性分一起看,才是完整画像。列定义参见 docs/stability.md。
实战工作流:测完直接开工
free-coding-models启动后等模型并行 Ping 完成Ctrl+U跑全局 AI Speed Test,按TPS 表头点击排序Enter一键把选中的模型写入 OpenCode / Crush / Goose 等 21 款工具的配置并直接启动- 想要一个永不掉线的主备切换端点?
--daemon-bg启动 Smart Model Router(注意:Router 的 "test via router" 走的是真实路由链路,与直连的Ctrl+A测速不是一回事,见 docs/router-v2.md)
Web Dashboard(free-coding-models web)同样支持:点击任意行的AI Latency 单元格即可对该模型单独跑基准,并查看延迟趋势图,模式说明见 docs/web-dashboard.md。
常见问题
Q:测速会不会大量消耗免费额度?A:AI Speed Test 每次只发一个小请求(max_tokens=140),比日常对话消耗低得多;Ping 探测遇到 429 也会自动暂停该提供商并指数退避。
Q:为什么同一模型两次测出的 TPS 不一样?A:免费层共享算力,高峰期会被邻居"抢带宽"。建议结合重试徽章和稳定性分判断,而不是单次结果。
Q:哪些文档值得收藏?
- 列含义与稳定性公式:docs/stability.md
- TUI 键位全集:docs/tui.md
- Web Dashboard 与 Docker:docs/web-dashboard.md
- 全部 CLI 参数:docs/flags.md
- 提供商完整清单:docs/providers.md
✅一句话总结:别再看平均延迟"猜"模型快不快——Ctrl+U一发真实提示词,TPS 吞吐列会直接告诉你谁才配得上你的免费额度。
【免费下载链接】free-coding-modelsFind, benchmark and install in CLI 170+ FREE coding LLM models across 15+ providers in real time项目地址: https://gitcode.com/gh_mirrors/fr/free-coding-models
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考