L2 OpenCompass 评测书生大模型实践：用 TaoToken 统一 Key 打通 VLMEvalKit 配置-开发者社区

1. 为什么 L2 评测总卡在“Key 分散”这一步

做 OpenCompass 的 L2 评测，绕不开两个工具：一个是大语言模型评测框架 OpenCompass，一个是多模态评测工具包 VLMEvalKit。前者负责跑 C-Eval、MMLU 这类文本基准，后者负责 MME、MMBench 这类图文基准。书生大模型（InternVL 系列、Intern-S1）在这两套框架里都有对应的接入方式，理论上照着官方 config 抄一遍就能跑。

但真正动手时，麻烦往往不在模型本身，而在“Key 和 API 通道”这一层。OpenCompass 的OpenAISDK模型配置里要填key和openai_api_base；VLMEvalKit 的config.py里又要单独维护一份模型名和路径映射；如果你同时评测 Intern-S1、InternVL3_5-1B 甚至再加几个对照模型，每个模型一套 Key、一套 base_url，改一个漏一个，跑一半报 401 是常事。

这篇就聚焦这个具体场景：用 TaoToken 统一 Key 和 API 通道，把 OpenCompass 的config.toml/评测脚本和 VLMEvalKit 的settings.json骨架串起来，最后用 C-Eval 子集跑通一次验证。目标很直接——你复制配置、换成自己的 Key，就能复现 L2 评测流程。适合已经在做 OpenCompass 评测、被多模型 Key 管理折腾过的同学。

2. TaoToken 前置：统一 Key 与 API 通道怎么理解

TaoToken 在这里扮演的角色，是一个统一的模型调用入口。你可以把它理解成“一个 Key 走多个模型”：原本 Intern-S1 一个地址、InternVL 一个地址、对照模型又一个地址，现在都收敛到同一个openai_api_base，Key 也只用维护一份。

对 OpenCompass 来说，它调用模型走的是 OpenAI 兼容协议，所以只要OpenAISDK的openai_api_base指向 TaoToken 的 API 地址，path填对应模型名，就能把请求发出去。VLMEvalKit 那边同理，它内部也是按 OpenAI 兼容接口去请求，配置里把 base_url 和 key 统一即可。

需要提前准备的东西不多：一个 TaoToken 账号、一个 API Key、确认你要评测的模型名（比如intern-s1、InternVL3_5-1B）。API Key 在控制台的 API Keys 页面创建，接入细节看接入文档。这两处地址分别是：

API Keys 管理：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api_keys&utm_campaign=rewrite
接入文档：https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite

注意：Key 只创建一次、只存一处，后面 OpenCompass 和 VLMEvalKit 都引用同一个环境变量，避免“改了 A 忘了 B”。

3. 可复制配置：config.toml 与 settings.json 骨架

先把环境搭起来。OpenCompass 建议用独立 conda 环境，Python 3.10：

conda create -n opencompass10 python=3.10 conda activate opencompass10 cd /root git clone -b 0.5.0 https://github.com/open-compass/opencompass.git opencompass cd opencompass pip install -e . pip install opencompass[api] pip install jmespath

数据集可以走 ModelScope 源，省去手动下载：

export DATASET_SOURCE=ModelScope

3.1 OpenCompass 的 config.toml 骨架

OpenCompass 本身用 Python config 为主，但把 Key、base_url 这类易变项抽到config.toml里更好维护。在项目根目录建一个config.toml：

[taotoken] api_key = "sk-你的TaoTokenKey" base_url = "https://taotoken.net/api" [models.intern_s1] name = "intern-s1" max_out_len = 512 max_seq_len = 4096 temperature = 0.01 batch_size = 10 query_per_second = 1 retry = 5 [models.internvl] name = "InternVL3_5-1B" max_out_len = 512 max_seq_len = 4096 temperature = 0.01 batch_size = 8 query_per_second = 1 retry = 5

然后在评测脚本里读取它。在opencompass/configs/下新建eval_tutorial_demo1.py：

import tomllib from mmengine.config import read_base from opencompass.models import OpenAISDK with open('/root/opencompass/config.toml', 'rb') as f: cfg = tomllib.load(f) tk = cfg['taotoken'] m = cfg['models']['intern_s1'] models = [ dict( type=OpenAISDK, path=m['name'], key=tk['api_key'], openai_api_base=tk['base_url'], rpm_verbose=True, query_per_second=m['query_per_second'], max_out_len=m['max_out_len'], max_seq_len=m['max_seq_len'], temperature=m['temperature'], batch_size=m['batch_size'], retry=m['retry'], ) ] with read_base(): from .datasets.ceval.ceval_gen import ceval_datasets datasets = [] for d in ceval_datasets[:5]: d['abbr'] = 'demo_' + d['abbr'] d['reader_cfg']['test_range'] = '[0:10]' datasets.append(d)

这里把 C-Eval 缩到 5 个子数据集、每个只取 10 条样本，目的是先跑通链路，不是出正式分数。跑通后再把test_range去掉就是完整评测。

3.2 VLMEvalKit 的 settings.json 骨架

VLMEvalKit 单独建环境：

cd /root/opencompass git clone https://github.com/open-compass/VLMEvalKit.git conda create -n VLMEvalKit1 python=3.10 conda activate VLMEvalKit1 cd VLMEvalKit pip install -e . pip install datasets

在VLMEvalKit/下建settings.json，把统一 Key 和 base_url 放进去：

{ "taotoken": { "api_key": "sk-你的TaoTokenKey", "base_url": "https://taotoken.net/api" }, "models": { "InternVL3_5-1B": { "model_name": "InternVL3_5-1B", "max_new_tokens": 512, "temperature": 0.01 } } }

VLMEvalKit 的模型注册在vlmeval/config.py，你需要让自定义模型走 OpenAI 兼容接口。核心是让它的请求指向settings.json里的base_url，模型名用models里的model_name。这样 MME 评测命令就能直接跑：

python run.py --data MME --model InternVL3_5-1B --verbose

提示：VLMEvalKit 默认可能去 HuggingFace 拉权重，如果本地没有模型文件，提前把模型放到本地并改好路径，避免评测中途卡在下载。

4. 验证请求：C-Eval 子集跑通与结果确认

配置写完，先验证 OpenCompass 这条链路。在opencompass目录下执行：

python run.py opencompass/configs/eval_tutorial_demo1.py --debug

--debug会打印详细日志。重点看两处：一是模型请求有没有返回 200，二是推理输出里有没有正常生成内容。如果 Key 或 base_url 错了，这里会直接抛 401/404，比跑到评估阶段才发现要省事得多。

跑通后，结果会落在outputs/下，结构大致是：

outputs/default/20250xxx_xxxxxx/ ├── configs/ ├── logs/ ├── predictions/ │ └── demo_ceval_xxx.json ├── results/ │ └── demo_ceval_xxx.json └── summary/ └── summary_xxx.txt

predictions/里是模型原始输出，results/里是打分结果，summary/是汇总表。打开summary能看到类似这样的行：

dataset version metric mode intern-s1 demo_ceval_xx xxxxx accuracy gen 0.xxxx

分数高低先不纠结，链路通了才是这一步的目标。确认 predictions 里有真实生成内容、results 里有非零分数，就说明 TaoToken 的 Key 和 API 通道在 OpenCompass 里生效了。

VLMEvalKit 那边同理，跑完python run.py --data MME --model InternVL3_5-1B --verbose后，在输出目录里找 MME 的结果文件，确认有分数产出即可。两个框架都跑通，说明统一 Key 的方案对文本和多模态评测都成立。

5. 本篇常见错排查

报 401 Unauthorized：九成是 Key 没生效。检查config.toml/settings.json里的api_key是否和 TaoToken 控制台一致，有没有多余空格。如果用了环境变量，确认export在当前 shell 生效。

报 404 或 model not found：path/model_name填的模型名和 TaoToken 侧支持的名字对不上。先去模型对话页面确认可用模型名，再回填配置。

请求超时或频繁 429：query_per_second和batch_size设太高。按你账号的 rpm 限制调低，比如query_per_second=1、batch_size=8，retry给到 5。

C-Eval 数据集下载失败：确认export DATASET_SOURCE=ModelScope已设置，且当前 shell 没被覆盖。手动下载的话，把OpenCompassData-core解压到opencompass/data下。

VLMEvalKit 卡在模型下载：默认走 HuggingFace，本地没文件就会卡。提前把模型放本地、改config.py里的路径，或者确认网络能访问对应源。

改了配置但结果没变：OpenCompass 会缓存部分中间结果，换配置后建议换个输出目录，或清掉outputs/下对应缓存再跑。

6. 把 Key 收敛成一处，评测才跑得顺

L2 评测的难点从来不是“会不会写 config”，而是多模型、多框架下 Key 和地址的维护成本。把 TaoToken 作为统一入口后，OpenCompass 的config.toml和 VLMEvalKit 的settings.json都只引用同一份api_key和base_url，换模型只改path，换账号只改一处。

如果你接下来要长期跑编码类或 Agent 类评测，可以看 Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding_plan&utm_campaign=rewrite 。想先确认模型名和可用性，去模型对话页面试一条请求最快：https://taotoken.net/chat?utm_source=taotoken_aicg_blog_end&utm_content=model_chat&utm_campaign=rewrite 。接入细节和参数说明都在文档里：https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite 。Key 统一之后，剩下的就是把test_range去掉，跑一次完整的 C-Eval 和 MME。