基于OpenRouter的轻量级LLM Benchmark工具：模型选型与成本对比实践

很多做 LLM 应用开发的人，第一次被"模型选型"这件事击垮，往往不是在某一个模型质量特别差的时候，而是在模型数量多到无从比较的时候。OpenRouter 这类聚合平台把数十家模型提供方的 API 统一成一个入口，你只需要一个 Key，就能调用 GPT、Claude、Llama、DeepSeek 等不同来源的模型。听起来很美好，但随之而来的问题是：我到底该用哪个模型？

官方榜单和社区 Benchmark 给出的结论，通常是面向"通用能力"的平均分，并不能直接回答你的业务问题。你的应用是中文文本抽取、代码生成、长文档摘要还是客服问答？不同模型在这些场景下的实际表现差异，远远大于通用分数所反映的差距。更不用说价格和延迟——有些模型回答质量接近，价格却可能差一个数量级。

这篇文章要做的，就是给你一套轻量级的、开源的 LLM Benchmark 工具方案。它不追求 MMLU、HumanEval 那样的大规模评测体系，而是专注于一件小事：把 OpenRouter 上任意一个模型，接入同一套测试题、同一组提示词、同一个统计流程，最后输出一份包含质量、延迟、Token 消耗和成本的对比报告。

后面会从设计思路、环境准备、完整代码到常见坑，一步一步展开。你可以直接复制代码跑起来，得到一个属于你自己业务场景的模型排行榜。这套方案最大的价值不在于数字本身，而在于它把"模型评估"这件事变成了可重复、可配置、可沉淀的工程流程。

1. 为什么模型对比成了 LLM 开发的日常痛点

做 LLM 应用的同学应该都有过这种经历：产品需求确定后，第一个要拍板的问题不是接口怎么设计，而是"用哪个模型"。早期的选择其实不多，OpenAI 基本是默认答案。但这两年的模型供给已经完全不同，闭源模型、开源权重、量化版本、微调模型混在一起，光是"同一家开源的 7B 模型"就能衍生出十几个变体。

这种情况下，选择模型就变成了一个高频、高成本、高不确定性的任务。如果你的应用有上百个真实业务场景，你可能需要同时在质量、速度、成本三个维度上做权衡。今天性价比高的模型，下周可能被新发布的模型反超；你这个月用的模型，下个月可能被官方下架。模型市场是动态的，靠"感觉"和"别人说好"来选型，基本等于赌运气。

更现实的问题是，很多团队不是没有做过模型对比，而是每次对比都太"重"了。临时写一段脚本，把测试题硬编码在代码里，跑完把输出贴进聊天工具，人工翻看，然后结论就消失了。下次换一个模型，又要重新写一遍。不同人写的脚本，提示词风格不统一，随机参数不统一，评测结果完全不可比。最后大家发现，真正缺的不是"某个模型的分数"，而是一套标准的、可复用的评测流程。

轻量级 Benchmark 工具的意义就在这里。它不解决"什么是好模型"这种哲学问题，它解决的是"如何快速、公平、低风险地获得对比数据"这个工程问题。你只需要维护一份测试题文件和一个模型列表，脚本自动完成请求、记录、统计、成本计算，结果保存成 JSON，方便沉淀成团队资产。

2. OpenRouter 的核心概念与适用场景

2.1 OpenRouter 到底是什么

OpenRouter 是一个面向开发者的 LLM API 聚合平台。理解它最简单的方式是类比成"模型路由网关"：模型提供方接入平台，开发者通过一个统一的 OpenAI 兼容接口访问所有模型，不需要为每一家单独申请 API Key、单独看文档、单独对接 SDK。

对 Benchmark 工具来说，OpenRouter 提供的三件事非常关键。第一是统一的接口协议，所有模型都走chat/completions接口，请求格式一样，响应格式一样，评测脚本不用为每个模型写适配层。第二是统一的模型 ID 体系，模型 ID 通常采用"厂商/模型名"的格式，配置简单。第三是定价信息的接口化，通过模型列表接口可以直接拿到每个模型的每百万 Token 价格，方便自动计算成本。

下面用一个表格直观对比三种接入方式：

2.2 为什么 OpenRouter 适合做 Benchmark

核心原因是"公平性"和"低成本切换"。评测模型时，最怕的是请求格式不一致带来的额外误差。OpenRouter 把所有模型收敛到同一个接口，相当于替你把"请求层"的差异抹平了，你真正对比的是模型本身的输出差异。

另外一个好处是免费模型。OpenRouter 上存在一批带限流的免费模型，虽然不适合直接用于生产，但用来做小规模评测、验证工具流程、跑通数据链路，成本接近于零。先用免费模型把 Benchmark 工具跑通，再扩展到付费模型，这是非常稳妥的上手路径。

2.3 适用场景与不适用场景

这套方案适合的业务场景很具体：模型选型、供应商切换评估、新版本回归、提示词模板在不同模型上的兼容性测试、成本预算估算。它解决的是"在大量候选模型中缩小范围"的问题，而不是"证明某个模型绝对最优"的问题。

不适用的情况也有。第一，如果你的数据高度敏感，不允许发送给任何第三方模型，那 OpenRouter 这类聚合平台天然不合适，你需要本地推理加私有评测集。第二，如果你要做的是大规模、高并发的性能压测，Benchmark 工具的串行请求设计只能反映基础延迟，不能替代压测工具。第三，如果对评测标准有学术级别的严格要求，比如需要人工标注、交叉验证、统计显著性检验，轻量级工具只能作为前置筛选。

3. 轻量级 Benchmark 工具的设计思路

3.1 评测四个核心维度

一个模型能不能用，归根到底看四件事：回答质量、响应延迟、Token 消耗、经济成本。这四个维度分别对应了用户体验、系统承载、账单预算和长期可持续性。

回答质量是最难量化的一项。轻量级工具的第一版，通常不做自动打分，而是把答案原样保存下来，由人工按评分规则抽查。这样做的原因是，不同业务对"质量"的定义完全不同，代码生成看可运行性，客服场景看语气和内容合规，抽取场景看字段准确率。人工抽查看似朴素，却是最不容易出错的质量基线。

延迟用每次请求的耗时来衡量，Token 消耗直接读响应里的 usage 字段，成本则通过 Token 数量和模型单价相乘得到。后三个维度都是客观数值，脚本可以自动统计；质量维度留给评测者，两份数据合在一起，就能判断"贵一点是否值得"。

3.2 设计原则

工具设计的首要原则是配置驱动。模型列表放在 YAML 里，测试题放在 JSON 里，脚本本体不包含任何业务数据。要增加一个新模型，只需要往配置文件里加一行；要增加新测试题，只需要往测试题文件里加一个对象。这样的好处是，评测流程可以被团队里的任何人复现，不会出现"只有作者会跑"的脚本。

第二个原则是失败不影响整体。调用外部 API 必然有偶发失败，单条请求报错不应该中断整个评测。每条请求独立捕获异常，把错误信息写入结果记录，最后统计时单独计算成功率，这样一轮评测跑下来，即使有部分请求失败，也能得到有价值的整体数据。

第三个原则是结果可回溯。原始响应、请求参数、耗时、成本全部落盘成 JSON，不覆盖、不丢字段。这样将来无论算法还是评测集发生变化，都能回头查证结论是否成立。

3.3 整体架构

工具分为四层：配置层、请求层、结果层、汇总层。配置层读取 YAML 和 JSON；请求层通过 openai SDK 调用 OpenRouter；结果层保存每次请求的完整信息；汇总层按模型维度做统计并输出报告。代码结构保持单文件也是可以的，当评测集和逻辑变复杂后，再按模块拆分。

从数据流角度看，一条请求从处理器发出，到拿到响应，再到写入结果列表，最后进入统计函数，链路非常短。短链路意味着容易排查问题，也容易让其他开发者快速理解整个工具，这是轻量级工具最宝贵的特性。

4. 环境准备与前置条件

4.1 运行环境

本文的示例代码使用 Python 3.9 及以上版本，依赖两个库：openai SDK 用于调用 OpenRouter 接口，pyyaml 用于解析配置文件。操作系统不限，Windows、macOS、Linux 都可以，建议在虚拟环境中运行。

先创建项目目录和虚拟环境：

mkdir llm-benchmark && cd llm-benchmark python -m venv .venv source .venv/bin/activate # Windows 使用 .venv\Scripts\activate

安装依赖，创建 requirements.txt：

# 文件路径：requirements.txt openai>=1.30.0 pyyaml>=6.0

pip install -r requirements.txt

4.2 获取 OpenRouter API Key

在 OpenRouter 控制台注册账号后，进入 API Keys 页面创建 Key。创建成功后把 Key 保存好，一般以sk-or-开头。注意 Key 只在创建时完整展示一次，后续在页面上只能看到前缀。

建议通过环境变量注入 Key，避免把密钥写死在代码或配置文件中。命令行设置方式：

export OPENROUTER_API_KEY="sk-or-xxx" # macOS / Linux

Windows PowerShell 使用：

$env:OPENROUTER_API_KEY="sk-or-xxx"

4.3 验证 API 连通性

先用一个最小调用确认网络和 Key 都正常。OpenRouter 的 API 地址是https://openrouter.ai/api/v1，兼容 OpenAI 的调用方式：

# 文件路径：check_api.py from openai import OpenAI client = OpenAI( base_url="https://openrouter.ai/api/v1", api_key="sk-or-xxx", ) resp = client.chat.completions.create( model="openai/gpt-4o-mini", messages=[{"role": "user", "content": "你好，请回复：连接成功"}], ) print(resp.choices[0].message.content)

如果这一步能正常输出内容，说明 Key 有效、SDK 版本兼容、网络链路通畅。后面所有的问题排查都可以以这个最小脚本作为基线。

5. 完整示例代码实现

5.1 项目文件结构

整个工具共四个核心文件：

llm-benchmark/ ├── benchmark.py # 评测主脚本 ├── config.yaml # 模型与参数配置 ├── questions.json # 测试题集 └── requirements.txt # 依赖声明

5.2 配置文件 config.yaml

模型列表、生成参数、请求间隔都放在这里：

# 文件路径：config.yaml api: base_url: https://openrouter.ai/api/v1 api_key_env: OPENROUTER_API_KEY generation: max_tokens: 1024 temperature: 0.2 top_p: 1.0 sleep_between_requests: 0.5 models: - id: openai/gpt-4o-mini alias: gpt-4o-mini - id: anthropic/claude-3.5-sonnet alias: claude-3.5-sonnet - id: meta-llama/llama-3.1-70b-instruct alias: llama-3.1-70b - id: deepseek/deepseek-chat alias: deepseek-chat

这里的模型 ID 是示例，OpenRouter 的模型列表会动态变化，实际使用前建议先调用模型列表接口确认 ID 仍然存在。alias字段用于在报告中显示更友好的名称。sleep_between_requests控制相邻两次请求的间隔，目的是降低触发限流的概率。

5.3 测试题集 questions.json

测试题的设计直接决定评测结论的有效性。建议按业务场景分 category，每个场景至少准备 5 到 10 道题。示例文件：

# 文件路径：questions.json [ { "id": "coding_001", "category": "coding", "prompt": "请用 Python 写一个函数，输入一个整数列表，返回其中出现次数最多的元素；如果有多个元素出现次数相同，返回数值最小的那个。" }, { "id": "reasoning_001", "category": "reasoning", "prompt": "一个房间里有 3 盏灯，门外有 3 个开关，每个开关控制其中一盏灯。你只能进房间一次，请问如何判断每个开关分别控制哪盏灯？请写出完整推理过程。" }, { "id": "cn_002", "category": "chinese", "prompt": "用不超过 100 个字解释什么是数据库事务，并点出 ACID 四个特性。" }, { "id": "extract_001", "category": "extraction", "prompt": "从下面的文本中提取所有人名、日期和金额，并以 JSON 数组返回：\n\"2024年3月15日，李明在上海参加了项目评审会，会议预算为12000元；张薇则在3月20日提交了8000元的差旅报销申请。\"" }, { "id": "summary_001", "category": "summary", "prompt": "请用三句话概括下面这段产品需求：\n\"我们希望在现有内容管理系统中增加一个自动标签功能。运营人员上传文章后，系统需要自动识别文章主题，并给出 3 到 5 个中文标签。标签要兼容已有的分类体系，准确率低于 80% 时要允许人工修改。系统需要支持批量处理，单篇文章处理时间不超过 2 秒。\"" } ]

测试题要尽量稳定，一旦定义好，不要频繁改动。因为改动测试题等于重新开始评测，历史结果和新结果之间没有可比性。

5.4 评测主脚本 benchmark.py

这是工具的核心，包含配置读取、请求调用、成本计算、结果汇总四部分：

# 文件路径：benchmark.py import argparse import json import os import time import yaml from openai import OpenAI def load_config(path: str) -> dict: with open(path, "r", encoding="utf-8") as f: return yaml.safe_load(f) def load_questions(path: str) -> list: with open(path, "r", encoding="utf-8") as f: return json.load(f) def get_client(cfg: dict) -> OpenAI: api_key_env = cfg["api"]["api_key_env"] api_key = os.environ.get(api_key_env, "") if not api_key: raise RuntimeError(f"请先设置环境变量 {api_key_env}") return OpenAI( base_url="https://openrouter.ai/api/v1", api_key=api_key, default_headers={ "HTTP-Referer": "https://github.com/your-org/lightweight-llm-benchmark", "X-Title": "lightweight-llm-benchmark", }, ) def get_pricing(model_obj) -> dict: """从 OpenRouter 模型对象中提取定价，兼容不同 SDK 版本。""" if hasattr(model_obj, "model_dump"): data = model_obj.model_dump() else: data = model_obj raw = data.get("pricing", {}) if isinstance(data, dict) else {} if isinstance(raw, str): try: raw = json.loads(raw) except json.JSONDecodeError: raw = {} def to_float(value): try: return float(value) except (TypeError, ValueError): return 0.0 return { "prompt": to_float(raw.get("prompt")), "completion": to_float(raw.get("completion")), } def fetch_pricing(client: OpenAI) -> dict: """拉取 OpenRouter 全量模型定价，失败时返回空 dict。""" try: models = client.models.list() return {m.id: get_pricing(m) for m in models.data} except Exception as exc: print(f"[warn] 拉取模型定价失败: {exc}") return {} def run_single(client: OpenAI, model_id: str, question: dict, params: dict) -> dict: start = time.time() try: resp = client.chat.completions.create( model=model_id, messages=[{"role": "user", "content": question["prompt"]}], max_tokens=params.get("max_tokens", 1024), temperature=params.get("temperature", 0.2), top_p=params.get("top_p", 1.0), ) elapsed = time.time() - start usage = resp.usage return { "model": model_id, "question_id": question["id"], "category": question.get("category", "general"), "answer": resp.choices[0].message.content, "finish_reason": resp.choices[0].finish_reason, "latency_sec": round(elapsed, 3), "prompt_tokens": usage.prompt_tokens, "completion_tokens": usage.completion_tokens, "total_tokens": usage.total_tokens, } except Exception as exc: return { "model": model_id, "question_id": question["id"], "category": question.get("category", "general"), "error": str(exc), } def compute_cost(result: dict, pricing: dict) -> float: if "error" in result: return 0.0 price = pricing.get(result["model"], {}) prompt_cost = result["prompt_tokens"] / 1000 * price.get("prompt", 0.0) completion_cost = result["completion_tokens"] / 1000 * price.get("completion", 0.0) return round(prompt_cost + completion_cost, 8) def summarize(results: list) -> list: stats = {} for r in results: model = r["model"] if model not in stats: stats[model] = { "total": 0, "errors": 0, "latency": [], "prompt_tokens": 0, "completion_tokens": 0, "cost": 0.0, } s = stats[model] s["total"] += 1 if "error" in r: s["errors"] += 1 else: s["latency"].append(r["latency_sec"]) s["prompt_tokens"] += r["prompt_tokens"] s["completion_tokens"] += r["completion