news 2026/10/3 7:26:06

Agent 技术摘要 06 —— Harness、原生视觉、Jev、mmproj、dsh

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Agent 技术摘要 06 —— Harness、原生视觉、Jev、mmproj、dsh

本系列为笔者在实习过程中的所见所闻记录,内容为技术摘要,旨在提供关于Agent领域相关技术名词的通俗和简要介绍,详细内容暂不展开,供同在该领域进修的童鞋们参考。

01 Harness

用来控制、约束和自动化运行代码的框架或平台,它的竞品包括 Jenkins、GitHub Actions、GitLab CI、ArgoCD 等。

想象你去了一个超级现代化的机场(Harness 平台),你把行李(代码)扔进传送带,系统自动帮你过安检(跑自动化测试),系统自动帮你打包贴标签(打包成 Docker 镜像,打上 Tag),系统自动把行李送到对应的登机口(触发 Promotion,把代码晋级到 Stage 环境 或 Prod 环境)。

Harness (Harness.io) 就是这样一个商业化的 DevOps 平台。程序员写完代码点一下提交,Harness 就会接管后续所有的脏活累活,保证代码安全、自动地上线。

如果你用 Python 写代码,你用的pytest框架,本质上就是一个 Test Harness。 如果你用 Java,JUnit就是一个 Test Harness。

有时候,程序员为了测试某个特定的函数,会自己手写一段测试脚本,这段专门用来跑测试的脚本,也可以被称为 Test Harness。

看到 Harness 的地方它的真实身份通俗理解
公司的发布流程/运维文档Harness.io (CI/CD 平台)帮你把代码自动打包、晋级到 Stage 环境的“流水线大管家”
代码仓库/测试目录/教科书Test Harness (测试框架)带有“副刹车”的教练车,用来安全地运行和给你的代码打分
英文 AI 论文动词 (Harness)“利用 / 驾驭” (Harness the power of AI)

02 原生视觉

指模型能够直接利用图像的视觉表示进行理解和推理,而不是只接收外部 OCR 或图像描述工具转换出来的文字。

直接看图不等于模型不需要编码器或预处理,而是视觉信息不必先被压缩为一段自然语言描述。 Qwen2.5-VL 就包含视觉编码器,并通过视觉语言对齐和端到端训练学习多模态能力。

有些厂商用 natively multimodal 强调,模型从预训练阶段就联合学习多种模态,而不是先训练纯文本模型,再添加视觉模块进行适配。例如,Google 对 Gemini 的“原生多模态”描述,明确包含“从一开始就在不同模态上预训练”。

概念说明什么
VLM模型能够关联和处理视觉与语言
原生视觉能力通常强调模型内部能利用视觉输入,而非仅依赖外部转文字
原生多模态训练通常强调多模态能力在预训练阶段就被联合学习

03 Jev:给程序做结构化决策的模型

Jev 是 TypeSafe AI 推出的决策模型,官方称为 System One Model。它接收上下文和指定类型的问题,返回选择、评分、概率等结构化结果,主要用于分类、路由和筛选。

例如,一个客服 Agent 收到:

上下文:用户说“本月被重复扣款,请退款” 问题:交给哪个部门? 候选项:账务、技术支持、销售 输出:账务,以及相应的概率或置信度

04 mmproj:本地多模态推理使用的配套权重组件

mmproj 来自 multimodal projector,多模态投影器,在 llama.cpp 的 GGUF 生态中,它通常指一个配套权重文件,例如:

model.gguf mmproj-model-f16.gguf

主模型文件负责语言模型部分,mmproj 文件负责多模态侧的编码与投影。

05 dsh

DeepSeek Harness,是 DeepSeek 开发的开源 Agent Harness,采用高度插件化的架构。可以让 Agent 编写适用于 dsh 插件体系的代码,实现你需要的工作流或扩展能力。

dsh-TUI,Terminal User Interface,终端用户界面。它在终端里为 DeepSeek Harness 提供全屏交互、流式 Markdown、工具调用展示、会话管理和状态显示等功能。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/3 7:25:46

关于做OPC的那些事|第5篇:从卖时间到卖结果,OPC的定价升级

一、定价是最容易踩的坑我见过太多OPC,做事很专业,但定价一塌糊涂。最常见的两个极端:极端一:不敢报价。觉得自己没名气、没案例,怕报高了客户跑。于是报很低的价格,结果接了一堆累活,赚不到钱&…

作者头像 李华
网站建设 2026/10/3 7:25:33

香港公司开银行账户怎么办理?

一、香港公司银行账户有什么用 香港公司注册完成后,开立银行账户是开展跨境收付款、资金结算和日常经营的基础。账户类型通常分为本地银行账户和离岸NRA账户两类。本地账户由香港持牌银行开立,适合在香港本地或国际业务中高频使用;离岸NRA账户…

作者头像 李华
网站建设 2026/10/3 7:24:17

2026最新各行业优化公司清单

行业发展背景与普遍痛点 我近些年跑了苏州不少区县,也接触了很多做实业的朋友,大家的生意多是立足苏州,辐射昆山、张家港、常熟、太仓乃至无锡、常州、南通这些周边城市,都有线上优化获客的需求,但普遍反映这个行业水有…

作者头像 李华
网站建设 2026/10/3 7:24:17

极空间 Z2 Pro 部署 MediaGo(Docker 版)

项目 说明 适用设备 极空间 Z2 Pro ( RK3566 , aarch64 )及任意 arm64 NAS 验证环境 极空间 Z2Pro-6094 ( ZOS ), Docker Server 架构 arm64 涉及版本 MediaGo 3.5.0 、 N_m3u8DL-RE v0.6.0-beta 服务端口 8899 ( Web UI 与 API 共用) 预计耗时 约 …

作者头像 李华