Holo1.5：开启智能交互新纪元的计算机使用代理基础模型-开发者社区

Holo1.5：开启智能交互新纪元的计算机使用代理基础模型

【免费下载链接】Holo1.5-7B项目地址: https://ai.gitcode.com/hf_mirrors/Hcompany/Holo1.5-7B

模型概述

计算机使用（CU）代理是一类能够代表用户与真实应用程序（包括网页、桌面和移动应用）进行交互的人工智能系统。它们具备界面导航、元素操作和内容问答等能力，为用户打造强大的自动化与生产力工具。随着数字化任务日益复杂，CU代理的重要性愈发凸显，它们让人类能够安全高效地将复杂数字任务委托给AI处理。

Holo1.5系列模型为构建此类代理提供了业界领先的基础能力。该系列在跨网页、计算机和移动环境的用户界面（UI）定位和基于UI的问答（QA）任务中表现卓越，在多项权威基准测试中取得优异成绩，包括Screenspot-V2、Screenspot-Pro、GroundUI-Web、Showdown以及新发布的WebClick数据集。

Holo1.5系列提供三种不同规模的模型以满足多样化部署需求：

3B版本：继承自Qwen模型的许可协议
7B版本：完全开源，采用Apache 2.0许可
72B版本：仅限研究使用（非商业用途）。商业用途请联系我们获取授权

这些模型旨在为下一代CU代理（如Surfer-H）提供可靠、准确且高效的技术基础，使其能够以前所未有的能力操控真实应用程序。

开发机构：H公司
模型类型：面向计算机使用代理的视觉语言模型（VLM）
微调基础模型：Qwen/Qwen2.5-VL-7B-Instruct
技术博客：https://www.hcompany.ai/blog/holo-1-5
许可协议：Apache 2.0许可协议

训练策略

Holo1.5模型采用高质量专有数据进行UI理解和动作预测训练，遵循多阶段训练流程。训练数据集经过精心筛选，融合了开源数据集、大规模合成数据和人工标注样本，形成全面的训练素材。

训练过程分为两大阶段：首先进行大规模监督微调，随后实施在线强化学习（GRPO）。最终模型支持高达3840×2160像素的高分辨率输入，能够精准高效地解析复杂屏幕界面并预测操作动作。

性能表现

UI定位任务的突破性进展

UI定位是指代理在用户界面中精确识别元素（按钮、文本框、图片等）位置的能力。对于CU代理而言，这项能力至关重要——无论是点击按钮、填写表单还是读取信息，都需要准确定位界面元素。

我们在多个标准UI定位基准上对Holo1.5模型进行了全面评估，包括Screenspot-V2、Screenspot-Pro、GroundUI-Web、Showdown以及新推出的WebClick。

评估结果显示：

7B和72B版本模型性能超越所有现有模型，平均定位精度提升4.5%
3B版本虽规模较小，但性能可与其他7B级模型媲美，展现出优异的资源效率

这些成果在开源UI定位领域建立了新的帕累托最优边界，实现了模型规模与定位精度之间的最佳平衡，为CU代理技术树立了新标准。

该图展示了不同模型在UI定位精度与模型大小之间的权衡关系。Holo1.5系列模型在图中形成明显的优势区域，表明在相同计算资源下能够提供更高的定位精度，为开发者选择适合部署需求的模型提供了直观参考。

此图表对比了Holo1.5系列与其他主流模型在各项UI定位基准测试中的表现。通过柱状图可以清晰看到Holo1.5-72B在多数任务中处于领先位置，7B版本也显著优于同级别竞品，验证了该系列模型在UI定位任务上的全面优势。

模型	WebClick	Showdown	ScreenSpot-v2	ScreenSpot-Pro	Ground-UI-1K	OSWorld-G	平均值
Holo1.5-3B	81.45	67.50	91.66	51.49	83.20	61.57	72.81
Holo1.5-7B	90.24	72.17	93.31	57.94	84.00	66.27	77.32
Holo1.5-72B	92.43	76.84	94.41	63.25	84.50	71.80	80.54
Qwen2.5-VL-3B	71.20	50.30	80.00	29.30	76.40	34.31	56.92
Qwen2.5-VL-7B	76.51	52.00	85.60	29.00	80.70	40.59	60.73
Qwen2.5-VL-72B	88.29	41.00	93.30	55.60	85.40	61.96	70.93
UI-TARS-1.5-7B	86.10	58.00	94.00	39.00	84.20	61.40	70.45
Holo1-7B	84.04	64.27	89.85	26.06	78.50	47.25	65.00
Holo1-3B	79.35	59.96	88.91	23.66	74.75	42.16	61.47
UI-Venus-7B	84.44	67.32	94.10	50.80	82.30	58.80	72.96
UI-Venus-72B	77.00	75.58	95.30	61.90	75.50	70.40	75.95
Sonnet 4	93.00	72.00	93.00	19.10	84.00	59.60	70.12

表1：主流模型的定位基准测试分数。粗体表示当前最佳性能，斜体数据来自先前报道，常规字体数据为内部复现结果

屏幕内容理解与问答能力的卓越表现

对于GUI代理而言，精确的定位能力固然重要，但理解界面结构和功能以实现有效交互同样关键。为评估这些综合能力，我们在多个GUI问答基准上测试了Holo1.5模型，包括ScreenQA Short、ScreenQA Complex、VisualWebBench和WebSRC。这些基准测试全面衡量模型对UI的理解和推理能力，确保其能在各种应用场景中准确执行任务。

该图呈现了模型在UI问答性能与参数量之间的关系。Holo1.5系列模型形成的曲线明显位于其他模型上方，表明其在相同模型规模下能够提供更优的问答性能，尤其72B版本在保持高性能的同时实现了效率突破。

此图表展示了不同模型在各项UI问答任务中的得分情况。Holo1.5-72B在所有测试中均表现最佳，7B版本也显著领先于同级别模型，证明了该系列在理解复杂界面内容方面的强大能力，这对构建实用的计算机使用代理至关重要。

模型	VisualWebBench	WebSRC	ScreenQAShort	ScreenQAComplex	平均值
Holo1.5-3B	78.50	94.80	87.90	81.40	85.65
Holo1.5-7B	82.60	95.90	91.00	83.20	88.17
Holo1.5-72B	83.80	97.20	91.90	87.10	90.00
Qwen2.5-VL-3B	58.00	93.00	86.00	76.00	78.25
Qwen2.5-VL-7B	69.00	95.00	87.00	81.10	83.02
Qwen2.5-VL-72B	76.30	97.00	87.90	83.20	86.10
UI-TARS-1.5-7B	79.70	92.90	88.70	79.20	85.12
Holo1-3B	54.10	93.90	78.30	53.50	69.95
Holo1-7B	38.10	95.30	83.30	65.10	70.45
UI-Venus-7B	60.90	96.60	86.30	82.30	81.52
UI-Venus-72B	74.10	96.70	88.60	83.30	85.67
Claude-Sonnet-4	58.90	96.00	87.00	75.70	79.40

表2：主流模型的屏幕内容问答基准测试分数。粗体表示当前最佳性能

Holo1.5模型在GUI问答任务中表现出令人印象深刻的能力，较现有最佳模型提升3.9%。这一成果证明其在网页和桌面环境中具备强大的视觉感知能力，这对于计算机使用代理完成复杂任务至关重要。

演示体验

观看演示视频，了解如何在计算机使用场景中与模型进行交互：

您也可以在Hugging Face 空间体验实时演示。

未来展望

我们的目标是构建经济高效且可靠的计算机使用代理。Holo1.5的发布是实现这一愿景的重要一步，有助于促进该技术的信任度和广泛采用。

这一里程碑仅仅是开始——在未来几周，我们将推出更多基于Holo模型的新工具和代理应用。

敬请期待——我们才刚刚起步！

引用格式

@misc{hai2025holo15modelfamily, title={Holo1.5 - Open Foundation Models for Computer Use Agents}, author={H Company}, year={2025}, url={https://huggingface.co/collections/Hcompany/holo15-68c1a5736e8583a309d23d9b}, }

【免费下载链接】Holo1.5-7B项目地址: https://ai.gitcode.com/hf_mirrors/Hcompany/Holo1.5-7B

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考