1. 本地多模型编排的真实痛点：为什么 AutoGen Studio 里配一个 model 这么折腾
如果你正在用 AutoGen Studio 搭智能体工作台，大概率遇到过这种场景：本地 ollama 跑着 Qwen 或 Llama，云端还想接一两个更强的模型做兜底，结果每加一个模型就要在 AutoGen Studio 的 Models 面板里手填一遍 Base URL、API Key、Model ID。填错一个字段，Test Model 就给你脸色看。
更麻烦的是 litellm 这一层。litellm 本身是个很好用的模型路由库，能把 OpenAI 格式的请求转发到各种后端，但它的配置散落在环境变量、命令行参数和 config.yaml 里。AutoGen Studio 又有一套自己的 Model Specification 结构。两边对不上，就会出现「litellm 明明启动了，AutoGen Studio 却连不上」的经典问题。
我试过最省事的做法，是让 litellm 只做一件事：对外暴露一个统一的 OpenAI 兼容端点，所有模型都从这个端点走。AutoGen Studio 那边只需要认一个 Base URL 和一个 Key。这样无论底层是 ollama 的本地模型，还是通过 TaoToken 统一 Key 接入的云端模型，对 AutoGen Studio 来说都是同一个入口。
这篇要解决的就是这个「统一入口」怎么落地。核心是三样东西：一份能直接跑的 litellm config.toml，一份 AutoGen Studio 的 settings.json 骨架，以及一次真实的模型调用验证。目标很明确——你照着抄，改掉 Key 和模型名，就能在本地把多模型编排跑通。
适合谁看：已经在本地装好 ollama、装好 AutoGen Studio、pip 装过 litellm，但卡在「模型配不进去」或者「配进去调不通」这一步的人。如果你还没装环境，先把这三个工具的基础安装跑完再回来，这篇不重复讲安装。
先说清楚 TaoToken 在这里的角色。它是一个统一 Key 的 API 通道，官网在 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，API 入口是 https://taotoken.net/api 。你拿到一个 Key，就能在 litellm 里把它当成一个 OpenAI 兼容的 provider 来配，不用为每个云端模型单独管理一套凭证。本地 ollama 那部分完全不经过它，各走各的。
下面从 litellm 的 config.toml 开始，一层一层往上搭。
2. TaoToken 统一 Key 前置准备：拿到能用的 Base URL 和 Model ID
在写配置之前，先把「钥匙」准备好。这一步不做，后面 config.toml 里的 api_key 和 api_base 就是空的，litellm 启动时会直接报认证错误。
你需要两样东西：一个 TaoToken 的 API Key，以及你要调用的模型 ID。Key 在控制台生成，入口是 https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。生成之后复制出来，形如sk-开头的一串字符。注意这个 Key 只显示一次，丢了就重新生成。
模型 ID 这块，TaoToken 的模型列表可以在文档里查，文档入口是 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。你挑一个想用的，比如某个通用对话模型，把它的 ID 记下来。这个 ID 后面会同时出现在 litellm 的 config.toml 和 AutoGen Studio 的 settings.json 里，两边必须一致。
Base URL 固定用https://taotoken.net/api，注意这个地址不带任何查询参数。litellm 在转发请求时会自动拼上/v1/chat/completions这类路径，所以你填的时候不要自己加/v1，否则会变成/v1/v1/...，直接 404。
如果你还想验证模型能不能通，可以先用模型对话页面手动发一条消息试试，入口是 https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。这一步不是必须的，但能帮你排除「Key 本身有问题」这种情况，省得后面在 litellm 里排查半天。
本地 ollama 那边不需要 Key，但需要确认模型已经拉下来并且服务在跑。在终端执行ollama list，看到类似qwen2.5:7b这样的条目就说明模型在本地了。记住这个名称，litellm 配置里要用。
还有一个容易忽略的点：litellm 的版本。不同版本对 config.toml 的字段支持不一样。建议用pip show litellm看一下版本，1.4x 以上基本都支持本文的写法。如果版本太老，先pip install -U litellm升一下。
准备工作就这些。Key、模型 ID、Base URL、本地模型名，四样东西齐了，下面开始写配置。
3. 可复制配置：litellm config.toml 与 AutoGen Studio settings.json 骨架
这一节是全文的核心，两个配置文件都给完整骨架，你复制之后只改 Key 和模型名。
先看 litellm 的 config.toml。litellm 从 1.4x 开始支持 TOML 格式的配置文件，比 YAML 更清晰。在项目根目录建一个litellm_config.toml，内容如下：
# litellm_config.toml # 统一入口：本地 ollama + TaoToken 云端模型 [general] master_key = "sk-local-master-1234" port = 4000 host = "0.0.0.0" [model_list] # 本地 ollama 模型，走 ollama 原生接口 [[model_list.model]] model_name = "local-qwen" litellm_params = { model = "ollama/qwen2.5:7b", api_base = "http://localhost:11434" } # TaoToken 统一 Key 接入的云端模型 [[model_list.model]] model_name = "cloud-chat" litellm_params = { model = "openai/你的模型ID", api_base = "https://taotoken.net/api", api_key = "sk-你的TaoTokenKey" }几个字段解释一下。master_key是 litellm 自己的访问密钥，AutoGen Studio 连 litellm 时用这个，不是 TaoToken 的 Key。model_name是对外暴露的名字，AutoGen Studio 里填的就是它。litellm_params.model里的前缀很关键：ollama/告诉 litellm 走 ollama 适配器，openai/告诉它走 OpenAI 兼容协议。TaoToken 是 OpenAI 兼容的，所以用openai/前缀，后面跟你的模型 ID。
启动 litellm：
litellm --config litellm_config.toml看到Uvicorn running on http://0.0.0.0:4000就说明起来了。注意端口是 4000，不是 ollama 的 11434，也不是 AutoGen Studio 的默认端口。
接下来是 AutoGen Studio 的 settings.json。AutoGen Studio 的模型配置存在它的数据目录里，通常在~/.autogenstudio/下面。你可以直接在 UI 里配，但用 settings.json 更可控。骨架如下：
{ "models": [ { "model": "local-qwen", "api_key": "sk-local-master-1234", "base_url": "http://localhost:4000/v1", "description": "本地 ollama 模型，经 litellm 路由" }, { "model": "cloud-chat", "api_key": "sk-local-master-1234", "base_url": "http://localhost:4000/v1", "description": "TaoToken 云端模型，经 litellm 路由" } ] }注意这里的api_key填的是 litellm 的master_key，不是 TaoToken 的 Key。因为 AutoGen Studio 是连 litellm，不是直接连 TaoToken。base_url统一指向 litellm 的/v1端点。两个模型的model字段分别对应 config.toml 里的model_name。
如果你更习惯在 AutoGen Studio UI 里操作，对应关系是：Model 名称填local-qwen或cloud-chat，API Key 填sk-local-master-1234，Base URL 填http://localhost:4000/v1。Test Model 按钮会向 litellm 发一个测试请求，litellm 再转发到真正的后端。
这里有个细节：AutoGen Studio 的 Base URL 必须带/v1，而 litellm 的 config.toml 里api_base不带/v1。这两个不一样，别搞混。litellm 对外暴露的是 OpenAI 兼容接口，所以客户端要带/v1；litellm 连上游时，上游的 base 通常不带/v1，由 litellm 自己拼。
配置写完，下一步是验证。
4. 验证请求：一次模型调用确认多模型接入跑通
配置对不对，跑一次就知道。验证分两层：先直接打 litellm，确认路由通；再从 AutoGen Studio 发请求，确认整条链路通。
先直接打 litellm。用 curl 发一个 chat completions 请求，走本地模型：
curl http://localhost:4000/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer sk-local-master-1234" \ -d '{ "model": "local-qwen", "messages": [{"role": "user", "content": "用一句话说明什么是智能体"}] }'如果 ollama 在跑、模型名对得上，你会拿到一个标准的 OpenAI 格式响应，choices[0].message.content里就是模型输出。这一步通了，说明 litellm 到 ollama 的路由没问题。
再走云端模型：
curl http://localhost:4000/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer sk-local-master-1234" \ -d '{ "model": "cloud-chat", "messages": [{"role": "user", "content": "用一句话说明什么是模型路由"}] }'这一步如果返回 401，多半是 TaoToken 的 Key 填错了，或者 config.toml 里api_key没改。如果返回 404，检查api_base是不是写成了https://taotoken.net/api/v1，去掉/v1再试。
两层 curl 都通了，回到 AutoGen Studio。在 Models 面板里找到你配的模型，点 Test Model。成功的话会提示Model tested successfully。然后新建一个简单的 AssistantAgent，把模型选成cloud-chat，发一条消息，看能不能正常回复。
实测下来，最容易出问题的不是配置本身，而是「改了 config.toml 之后忘了重启 litellm」。litellm 不会热加载配置文件，改完必须 Ctrl+C 再启动。这个坑我踩过不止一次，排查半天发现是旧进程还在跑。
还有一个验证技巧：litellm 启动时会在日志里打印它加载了哪些模型。看到类似Loaded model: local-qwen和Loaded model: cloud-chat两行，说明配置解析成功。如果只有一行，检查 TOML 的[[model_list.model]]是不是写重复了或者缩进错了。
验证通过之后，你就可以在 AutoGen Studio 里自由切换模型了。本地模型做快速迭代，云端模型做复杂推理，对上层智能体来说没有区别，都是同一个 Base URL。
5. 本篇常见错排查：401、local proxy failed、reading choices、OAuth 对照
配置跑不通的时候，报错信息往往指向不明确。这一节把几个高频错误和对应原因列出来，对照着查。
401 Unauthorized。出现在 curl 打 litellm 时，说明Authorization头里的 Key 和 config.toml 的master_key不一致。出现在 litellm 转发到 TaoToken 时，说明 config.toml 里那个模型的api_key不对。两种情况都检查一遍。注意 TaoToken 的 Key 是sk-开头，别把 litellm 的 master_key 填进去。
local proxy failed / connection refused。litellm 启动时报这个，通常是端口被占用。4000 端口如果被别的服务占了，换一个，比如port = 4001，同时 AutoGen Studio 的 Base URL 也要跟着改。如果是连 ollama 时报这个，确认ollama serve在跑，默认端口 11434 没被改。
Error reading choices / KeyError 'choices'。这个报错说明 litellm 拿到了响应，但响应结构不是预期的 OpenAI 格式。常见原因是litellm_params.model的前缀写错了。比如把 TaoToken 的模型写成了ollama/你的模型ID，litellm 就会用 ollama 的协议去解析，自然拿不到choices。检查前缀：本地用ollama/，TaoToken 用openai/。
OAuth / authentication_error。如果 TaoToken 那边返回认证类错误，先确认 Key 没过期、额度没用完。可以在模型对话页面手动发一条消息验证 Key 本身是否有效。如果手动能通、litellm 不通，那就是 config.toml 里的api_base或api_key写错了。
Model not found。AutoGen Studio 里 Test Model 报这个，说明它向 litellm 请求的model字段在 litellm 的model_list里找不到。检查 settings.json 里的model和 config.toml 里的model_name是否完全一致，大小写敏感。
Test Model 转圈很久然后超时。本地模型首次加载会慢，尤其是大参数量的。如果超过两三分钟还没响应，检查 ollama 那边的模型是不是真的拉下来了，ollama list确认一下。云端模型超时一般是网络问题，重试一次。
排查的顺序建议是：先 curl 打 litellm 确认路由层，再 curl 打上游确认凭证层，最后从 AutoGen Studio 确认客户端层。一层一层来，比一上来就盯着 UI 报错有效得多。
6. 从验证到长期使用：Coding Plan 与接入文档的衔接
跑通一次调用只是开始。真正用起来，你会遇到更多模型、更多智能体、更复杂的编排需求。这时候统一 Key 和统一入口的价值才体现出来——加一个新模型，只需要在 config.toml 里加一段[[model_list.model]]，AutoGen Studio 那边复制一份 settings 条目改个名字就行，不用重新理解一套新的认证方式。
如果你打算把这套东西长期用于编码类任务或者 Agent 工作流，可以了解一下 Coding Plan，入口是 https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。它面向的是需要持续调用模型的场景，和本文这种本地编排是互补的。
接入过程中如果遇到配置字段不确定的情况，文档是最快的参考，入口是 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。API Key 的管理在控制台，入口是 https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。需要快速验证某个模型是否可用时，模型对话页面最直接，入口是 https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。
最后说一个实用技巧：把 litellm 的 config.toml 和 AutoGen Studio 的 settings.json 都放进版本控制，但把 Key 抽成环境变量。litellm 支持在 config.toml 里用os.environ/VAR_NAME引用环境变量，这样配置文件可以安全地提交，Key 留在本地。具体写法是在api_key字段填"os.environ/TAOTOKEN_API_KEY"，启动前export TAOTOKEN_API_KEY=sk-...。这个习惯在多人协作或者多环境切换时能省很多事。
