ModLens 视觉引擎全解析:6 大 Provider + 4 个可复用 CLI,免费通道到企业网关怎么选
【免费下载链接】modlensThe first vision plugin for DeepSeek Harness, and the vision bridge for every text-only coding agent. Paste an image, get structured JSON evidence (OCR, layout, semantics). | 全网最强 DeepSeek Harness 外挂视觉插件,为 DeepSeek、GLM 等纯文本模型外挂视觉能力,粘贴图片即得结构化 JSON 证据(OCR、版面、语义)。项目地址: https://gitcode.com/gh_mirrors/mo/modlens
ModLens 是 DeepSeek Harness(dsh)生态中首个外挂视觉插件,也是所有纯文本编码 Agent 的"视觉桥":把图片直接粘贴进对话框,它就能调用视觉引擎返回结构化 JSON 证据(OCR 全文、版面区块、语义实体)。本文带你一次看懂它的视觉引擎架构——6 大内置 Provider 与 4 个可复用 CLI 各适合谁,从免费通道到企业网关该怎么选。
一句话理解 ModLens
DeepSeek 主力对话模型和 GLM-5.3 本体都是纯文本的,看不懂图。ModLens 的思路很直接:给模型补上一副"眼睛"——你粘贴图片,它把图片交给某个视觉引擎读图,再把 OCR、版面、语义整理成 JSON 交还给模型,让回答"基于证据而非想象"。
它不绑定任何单一视觉服务,视觉来源一共10 个:
- 6 个内置 Provider:配好任意一个就能独立工作
- 4 个可复用 CLI:复用你本机已有 Agent 的登录态,零新密钥
- 1 条故障转移链:所有可用引擎自动组成回退队列,第一个成功者胜出
Provider 的注册表在 src/providers/index.ts,每个引擎都实现了统一的VisionProvider接口,这也是它"即插即用"的根本原因。
6 大内置 Provider 全解析
| Provider | 需要什么 | 单次识别耗时 | 适合谁 |
|---|---|---|---|
gemini-api | 免费 Gemini API key(约 3 分钟领取,无需信用卡) | 5-10 秒 | 🥇 推荐默认 |
openai | 任意 OpenAI 兼容端点(key + baseUrl + model) | 5-10 秒 | qwen-vl、GLM、企业自建网关 |
anthropic | Anthropic API key | 5-10 秒 | 手上已有 key 的机器 |
antigravity-cli | 免费agyCLI,浏览器登录一次即可 | 15-45 秒 | 完全免注册起步 |
claude-cli | 已登录的 Claude Code | 20-45 秒 | 复用现有 Claude 订阅 |
kimi-cli | 已登录的 Kimi Code(需显式点名) | 20-45 秒 | 复用现有 Kimi 订阅 |
免费通道档:零注册或三分钟拿 key
antigravity-cli是"什么都不想注册"时的首选:安装agyCLI、浏览器登录一次,无需任何 key 就能读图,默认模型为gemini-3.6-flash-low,代价是单次 15-45 秒。
gemini-api则是官方推荐的默认引擎:到 Google AI Studio 领一个免费 key(约 3 分钟、不用信用卡),识别耗时直接降到 5-10 秒。实现见 src/providers/geminiApi.ts。
万能插座档:openai 兼容端点
openai这个 Provider 名字叫 OpenAI,实际是万能插座——任何讲 OpenAI chat-completions 协议、支持图片输入的端点都能插上:qwen-vl(通义视觉)、GLM 开放平台、SiliconFlow、OpenRouter,甚至你公司自建的 vLLM/Ollama 网关。
配置只有三个键(baseUrl、apiKey、model),apiKey还支持英文逗号分隔多个密钥,鉴权/限流/配额失败时自动轮换到下一把。实现见 src/providers/openaiCompat.ts,配置键全表见 skills/modlens/references/configure.zh-CN.md。
订阅复用档:借已有账号的额度
如果你已经在用 Claude Code 或 Kimi Code,claude-cli和kimi-cli可以直接"借"它们的登录态读图,不产生额外费用,但单次 20-45 秒。注意kimi-cli只在你显式点名时运行,永不作为自动回退成员——避免偷偷花掉你的额度。
4 个可复用 CLI:零新密钥扩展视觉来源
除了 6 个内置 Provider,ModLens 还能发现本机其他 Agent CLI 里现成的视觉能力,按家授权、平级入链、不插队:
| 复用来源 | 需要什么 | 授权方式 | 通道 |
|---|---|---|---|
| Codex | 已登录且有视觉模型的 Codex CLI | config set reuse.codex true | Agent 通道,15-45 秒 |
| OpenCode | OpenCode 里配好的视觉模型 | config set reuse.opencode true | Agent 通道,15-45 秒 |
| Pi | Pi 持有的模型凭据 | config set reuse.pi true | API key 可升级到 5-10 秒快车道 |
| Grok | 已登录的 Grok CLI(SuperGrok) | config set reuse.grok true | Agent 通道,15-45 秒 |
关键设计:每次复用都会在结果的meta.warnings里标明花的是谁的额度,绝不无声扣费。授权前会先征得同意,授权状态记录在配置文件里,详见 docs/security.zh-CN.md。
免费通道到企业网关:一张速查表怎么选?
| 你的场景 | 推荐选择 | 理由 |
|---|---|---|
| 新手首次使用,什么都不想注册 | antigravity-cli | 浏览器登录一次即可,免 key 免费 |
| 想要最快响应(5-10 秒) | gemini-api | 免费 key,官方推荐默认 |
| 公司内网 / 企业网关 | openai(指向自建端点) | 数据不出内网,走代理或直连皆可 |
| 已有 Claude / Kimi 订阅 | claude-cli/kimi-cli | 复用现有订阅,零额外成本 |
| 想全部兜底、永不失联 | 不钉死 provider | 所有引擎自动组成故障转移链 |
配置路由只有两个旋钮:modlens config set provider <name>表达偏好(链条继续兜底),-p <name>钉死单一引擎不回退。内网环境设HTTPS_PROXY或modlens config set proxy <url>即可,单个端点还能用openai.proxy ""强制直连。完整参数见 docs/cli.zh-CN.md。
故障转移链:回退永远不是无声的
这是 ModLens 视觉引擎最扎实的部分。不钉死 provider 时,所有已配置的引擎组成一条链:API 快车道(5-10 秒)先试,Agent CLI(15-45 秒)兜底,第一个成功结果胜出;结果里的meta.attempts按顺序记录每一次尝试和失败原因,所以任何一次回退你都能查到。
还有两层细节:
- 冷却机制:配额耗尽的引擎自动"冷却",被挪到所在区域(快车道/Agent 通道)末尾,恢复后自动回到正常优先级,状态在 src/cooldown.ts 管理
- 借用路由插队保护:从其他 harness 借来的引擎插入链条时会尊重"你显式点名的引擎永远排最前"的规则,合并逻辑见 src/analyzer.ts 与 src/providers/availability.ts
上图就是在 DeepSeek Harness 中选中DeepSeek-V4-Flash (modlens vision)变体后直接粘贴截图的效果:轨迹里可以看到图片抵达时"已由 modlens 视觉桥转写",回答逐个 UI 元素地还原了界面。
实测:密集图表也能读对
压力测试场景是 128 个 AI 模型的对比散点图——双轴定义、对数刻度、按厂商的配色、高亮区域、虚线标注的每个 DeepSeek 型号全部识别。密集图表正是视觉桥最容易出错的场景。
输出的固定 JSON 契约包含summary(摘要)、ocr(全文与逐行)、layout(按阅读顺序的版面区块)、semantics(场景、实体、关系)、uncertainty(不确定清单),下游想解析可以直接对着契约写,详见 docs/output-schema.zh-CN.md。
快速上手:三步配好你的视觉引擎
- 安装:DeepSeek Harness 用户一条命令装插件;其他 harness 用 skills 安装 skill,细节见 INSTALL.md 与 docs/harness-setup.zh-CN.md
- 配置:
modlens doctor先体检——它会盘点 Node 环境、每个 Provider 的就绪状态、本机的故障转移链、复用授权情况,且不花一分钱额度 - 粘贴:装好后不需要记任何命令,直接粘贴图片或给路径,skill 自动触发
dsh 用户还有网页入口:设置页的插件配置里有一张 ModLens 卡片,切换引擎、勾选 auto 模式可复用的本机 CLI,点几下保存即生效。
延伸阅读
| 文档 | 什么时候看 |
|---|---|
| docs/cli.zh-CN.md | 手动跑 CLI:参数、默认模型、子命令 |
| skills/modlens/references/configure.zh-CN.md | 全部配置键:key、切换 provider、代理 |
| docs/output-schema.zh-CN.md | 解析 JSON 或基于它做二次开发 |
| docs/troubleshooting.zh-CN.md | 命令报错,查成因和解法 |
| docs/security.zh-CN.md | 文件权限、图片内容作为不可信输入 |
一句话总结选型:想省心选gemini-api,想完全免注册选antigravity-cli,企业内网选openai指向你自己的网关,什么都不想配就全都不用配——ModLens 会把所有可用引擎自动串成一条可靠的故障转移链。
【免费下载链接】modlensThe first vision plugin for DeepSeek Harness, and the vision bridge for every text-only coding agent. Paste an image, get structured JSON evidence (OCR, layout, semantics). | 全网最强 DeepSeek Harness 外挂视觉插件,为 DeepSeek、GLM 等纯文本模型外挂视觉能力,粘贴图片即得结构化 JSON 证据(OCR、版面、语义)。项目地址: https://gitcode.com/gh_mirrors/mo/modlens
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考