news 2026/9/26 6:08:13

ModLens 视觉引擎全解析:6 大 Provider + 4 个可复用 CLI,免费通道到企业网关怎么选

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
ModLens 视觉引擎全解析:6 大 Provider + 4 个可复用 CLI,免费通道到企业网关怎么选

ModLens 视觉引擎全解析:6 大 Provider + 4 个可复用 CLI,免费通道到企业网关怎么选

【免费下载链接】modlensThe first vision plugin for DeepSeek Harness, and the vision bridge for every text-only coding agent. Paste an image, get structured JSON evidence (OCR, layout, semantics). | 全网最强 DeepSeek Harness 外挂视觉插件,为 DeepSeek、GLM 等纯文本模型外挂视觉能力,粘贴图片即得结构化 JSON 证据(OCR、版面、语义)。项目地址: https://gitcode.com/gh_mirrors/mo/modlens

ModLens 是 DeepSeek Harness(dsh)生态中首个外挂视觉插件,也是所有纯文本编码 Agent 的"视觉桥":把图片直接粘贴进对话框,它就能调用视觉引擎返回结构化 JSON 证据(OCR 全文、版面区块、语义实体)。本文带你一次看懂它的视觉引擎架构——6 大内置 Provider 与 4 个可复用 CLI 各适合谁,从免费通道到企业网关该怎么选。

一句话理解 ModLens

DeepSeek 主力对话模型和 GLM-5.3 本体都是纯文本的,看不懂图。ModLens 的思路很直接:给模型补上一副"眼睛"——你粘贴图片,它把图片交给某个视觉引擎读图,再把 OCR、版面、语义整理成 JSON 交还给模型,让回答"基于证据而非想象"。

它不绑定任何单一视觉服务,视觉来源一共10 个:

  • 6 个内置 Provider:配好任意一个就能独立工作
  • 4 个可复用 CLI:复用你本机已有 Agent 的登录态,零新密钥
  • 1 条故障转移链:所有可用引擎自动组成回退队列,第一个成功者胜出

Provider 的注册表在 src/providers/index.ts,每个引擎都实现了统一的VisionProvider接口,这也是它"即插即用"的根本原因。

6 大内置 Provider 全解析

Provider需要什么单次识别耗时适合谁
gemini-api免费 Gemini API key(约 3 分钟领取,无需信用卡)5-10 秒🥇 推荐默认
openai任意 OpenAI 兼容端点(key + baseUrl + model)5-10 秒qwen-vl、GLM、企业自建网关
anthropicAnthropic API key5-10 秒手上已有 key 的机器
antigravity-cli免费agyCLI,浏览器登录一次即可15-45 秒完全免注册起步
claude-cli已登录的 Claude Code20-45 秒复用现有 Claude 订阅
kimi-cli已登录的 Kimi Code(需显式点名)20-45 秒复用现有 Kimi 订阅

免费通道档:零注册或三分钟拿 key

antigravity-cli是"什么都不想注册"时的首选:安装agyCLI、浏览器登录一次,无需任何 key 就能读图,默认模型为gemini-3.6-flash-low,代价是单次 15-45 秒。

gemini-api则是官方推荐的默认引擎:到 Google AI Studio 领一个免费 key(约 3 分钟、不用信用卡),识别耗时直接降到 5-10 秒。实现见 src/providers/geminiApi.ts。

万能插座档:openai 兼容端点

openai这个 Provider 名字叫 OpenAI,实际是万能插座——任何讲 OpenAI chat-completions 协议、支持图片输入的端点都能插上:qwen-vl(通义视觉)、GLM 开放平台、SiliconFlow、OpenRouter,甚至你公司自建的 vLLM/Ollama 网关。

配置只有三个键(baseUrl、apiKey、model),apiKey还支持英文逗号分隔多个密钥,鉴权/限流/配额失败时自动轮换到下一把。实现见 src/providers/openaiCompat.ts,配置键全表见 skills/modlens/references/configure.zh-CN.md。

订阅复用档:借已有账号的额度

如果你已经在用 Claude Code 或 Kimi Code,claude-cli和kimi-cli可以直接"借"它们的登录态读图,不产生额外费用,但单次 20-45 秒。注意kimi-cli只在你显式点名时运行,永不作为自动回退成员——避免偷偷花掉你的额度。

4 个可复用 CLI:零新密钥扩展视觉来源

除了 6 个内置 Provider,ModLens 还能发现本机其他 Agent CLI 里现成的视觉能力,按家授权、平级入链、不插队:

复用来源需要什么授权方式通道
Codex已登录且有视觉模型的 Codex CLIconfig set reuse.codex trueAgent 通道,15-45 秒
OpenCodeOpenCode 里配好的视觉模型config set reuse.opencode trueAgent 通道,15-45 秒
PiPi 持有的模型凭据config set reuse.pi trueAPI key 可升级到 5-10 秒快车道
Grok已登录的 Grok CLI(SuperGrok)config set reuse.grok trueAgent 通道,15-45 秒

关键设计:每次复用都会在结果的meta.warnings里标明花的是谁的额度,绝不无声扣费。授权前会先征得同意,授权状态记录在配置文件里,详见 docs/security.zh-CN.md。

免费通道到企业网关:一张速查表怎么选?

你的场景推荐选择理由
新手首次使用,什么都不想注册antigravity-cli浏览器登录一次即可,免 key 免费
想要最快响应(5-10 秒)gemini-api免费 key,官方推荐默认
公司内网 / 企业网关openai(指向自建端点)数据不出内网,走代理或直连皆可
已有 Claude / Kimi 订阅claude-cli/kimi-cli复用现有订阅,零额外成本
想全部兜底、永不失联不钉死 provider所有引擎自动组成故障转移链

配置路由只有两个旋钮:modlens config set provider <name>表达偏好(链条继续兜底),-p <name>钉死单一引擎不回退。内网环境设HTTPS_PROXY或modlens config set proxy <url>即可,单个端点还能用openai.proxy ""强制直连。完整参数见 docs/cli.zh-CN.md。

故障转移链:回退永远不是无声的

这是 ModLens 视觉引擎最扎实的部分。不钉死 provider 时,所有已配置的引擎组成一条链:API 快车道(5-10 秒)先试,Agent CLI(15-45 秒)兜底,第一个成功结果胜出;结果里的meta.attempts按顺序记录每一次尝试和失败原因,所以任何一次回退你都能查到。

还有两层细节:

  • 冷却机制:配额耗尽的引擎自动"冷却",被挪到所在区域(快车道/Agent 通道)末尾,恢复后自动回到正常优先级,状态在 src/cooldown.ts 管理
  • 借用路由插队保护:从其他 harness 借来的引擎插入链条时会尊重"你显式点名的引擎永远排最前"的规则,合并逻辑见 src/analyzer.ts 与 src/providers/availability.ts

上图就是在 DeepSeek Harness 中选中DeepSeek-V4-Flash (modlens vision)变体后直接粘贴截图的效果:轨迹里可以看到图片抵达时"已由 modlens 视觉桥转写",回答逐个 UI 元素地还原了界面。

实测:密集图表也能读对

压力测试场景是 128 个 AI 模型的对比散点图——双轴定义、对数刻度、按厂商的配色、高亮区域、虚线标注的每个 DeepSeek 型号全部识别。密集图表正是视觉桥最容易出错的场景。

输出的固定 JSON 契约包含summary(摘要)、ocr(全文与逐行)、layout(按阅读顺序的版面区块)、semantics(场景、实体、关系)、uncertainty(不确定清单),下游想解析可以直接对着契约写,详见 docs/output-schema.zh-CN.md。

快速上手:三步配好你的视觉引擎

  1. 安装:DeepSeek Harness 用户一条命令装插件;其他 harness 用 skills 安装 skill,细节见 INSTALL.md 与 docs/harness-setup.zh-CN.md
  2. 配置:modlens doctor先体检——它会盘点 Node 环境、每个 Provider 的就绪状态、本机的故障转移链、复用授权情况,且不花一分钱额度
  3. 粘贴:装好后不需要记任何命令,直接粘贴图片或给路径,skill 自动触发

dsh 用户还有网页入口:设置页的插件配置里有一张 ModLens 卡片,切换引擎、勾选 auto 模式可复用的本机 CLI,点几下保存即生效。

延伸阅读

文档什么时候看
docs/cli.zh-CN.md手动跑 CLI:参数、默认模型、子命令
skills/modlens/references/configure.zh-CN.md全部配置键:key、切换 provider、代理
docs/output-schema.zh-CN.md解析 JSON 或基于它做二次开发
docs/troubleshooting.zh-CN.md命令报错,查成因和解法
docs/security.zh-CN.md文件权限、图片内容作为不可信输入

一句话总结选型:想省心选gemini-api,想完全免注册选antigravity-cli,企业内网选openai指向你自己的网关,什么都不想配就全都不用配——ModLens 会把所有可用引擎自动串成一条可靠的故障转移链。

【免费下载链接】modlensThe first vision plugin for DeepSeek Harness, and the vision bridge for every text-only coding agent. Paste an image, get structured JSON evidence (OCR, layout, semantics). | 全网最强 DeepSeek Harness 外挂视觉插件,为 DeepSeek、GLM 等纯文本模型外挂视觉能力,粘贴图片即得结构化 JSON 证据(OCR、版面、语义)。项目地址: https://gitcode.com/gh_mirrors/mo/modlens

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/26 6:07:46

空压机行业客户报备规则与CRM选型落地指南

空压机这个行业&#xff0c;销售管理最让人头疼的往往不是价格&#xff0c;而是客户报备。厂家好不容易把渠道铺到全国&#xff0c;几十上百家经销商、业务员在外面跑&#xff0c;每个人手里都攥着好几个客户线索&#xff0c;可这些线索到底是先跟的、跟到哪一步了、有没有重复…

作者头像 李华
网站建设 2026/9/26 6:07:35

区域影像中心落地实战:DICOM协议、分级存储与零改造接入

简介&#xff1a;本资源是一份面向医疗信息化建设者、区域卫生平台规划人员及PACS系统实施工程师的《区域影像中心系统建设方案书》&#xff0c;聚焦解决基层医疗机构影像诊断能力薄弱、资源分布不均、报告质量参差等现实问题&#xff0c;适用于地市级医联体、县域医共体及远程…

作者头像 李华
网站建设 2026/9/26 6:07:31

AI导演Skill:Blender自然语言控制与MCP协议实战

1. 项目本质与真实定位&#xff1a;这不是“GPT6”在Blender里拍电影&#xff0c;而是AI工作流的工程化落地先说清楚——标题里那个“GPT6”不是官方发布的模型&#xff0c;目前也不存在OpenAI或任何主流厂商公开命名的“GPT-6”。它实际指代的是一个高度定制化的多智能体协同系…

作者头像 李华
网站建设 2026/9/26 6:06:56

终端摄像头与边缘计算网关:智能视觉融合架构实战

如果你同时管过上百路摄像头的机房和现场&#xff0c;大概能体会那种“看着屏幕墙&#xff0c;心里却发虚”的感觉&#xff1a;视频流全部往中心机房灌&#xff0c;交换机端口打满、存储阵列报警&#xff1b;真正出事的关键几秒&#xff0c;回放还要在几十路画面里翻&#xff1…

作者头像 李华
网站建设 2026/9/26 6:06:53

自建智能栈实战:定制模型与评测体系搭建指南

1. 从"调API"到"养模型"&#xff1a;为什么自建智能栈正在成为分水岭过去两年&#xff0c;我接触过不少团队做AI应用&#xff0c;绝大多数人的路径都差不多&#xff1a;调一个通用大模型的API&#xff0c;套一层提示词&#xff0c;做个前端界面&#xff0c…

作者头像 李华
网站建设 2026/9/26 6:06:50

OpenClaw实战部署指南:飞书/Teams集成与会话锁问题解决

简介&#xff1a;本资源是一份面向高校师生、AI初学者与技术从业者的94页大模型科普讲座讲义&#xff0c;聚焦智能体OpenClaw&#xff08;小龙虾&#xff09;的原理、能力架构与云端实践应用。内容系统梳理人工智能发展简史&#xff08;从图灵测试到达特茅斯会议&#xff0c;六…

作者头像 李华