UI-TARS 72B：AI自动玩转GUI的终极突破

UI-TARS 72B：AI自动玩转GUI的终极突破

【免费下载链接】UI-TARS-72B-DPO项目地址: https://ai.gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-72B-DPO

导语

字节跳动最新发布的UI-TARS-72B-DPO模型，通过创新的端到端视觉语言架构，实现了AI与图形用户界面(GUI)的无缝交互，标志着智能体自动操作GUI界面的技术迎来里程碑式突破。

行业现状

随着大语言模型技术的快速发展，AI与人类交互的方式正从纯文本向多模态演进。图形用户界面(GUI)作为人机交互的主要载体，长期以来依赖人工操作或预定义规则的自动化脚本。传统GUI自动化方案往往需要针对特定界面编写复杂的定位规则和操作流程，面对界面变化或复杂场景时鲁棒性差，开发维护成本高。近年来，基于视觉-语言模型的新一代GUI智能体逐渐成为研究热点，但现有方案普遍存在感知准确性不足、交互逻辑僵化等问题。

产品/模型亮点

UI-TARS-72B-DPO作为下一代原生GUI智能体模型，采用创新的单一体架构设计，将感知、推理、定位和记忆等关键组件深度集成到统一的视觉语言模型(VLM)中，实现了端到端的GUI任务自动化。与传统模块化框架相比，这一设计消除了组件间通信的瓶颈，使模型能够以类人方式理解和操作界面。

在性能表现上，UI-TARS-72B展现出卓越的GUI交互能力。在感知能力评估中，该模型在VisualWebBench数据集上达到82.8分，超越GPT-4o(78.5)和Claude-3.5-Sonnet(78.2)等主流模型；在SQAshort文本理解任务中以88.6分位居榜首。定位能力方面，在ScreenSpot Pro评测中，UI-TARS-72B以38.1的平均得分显著领先于其他模型，尤其在桌面环境文本定位(63.3分)和图标识别(26.4分)任务上表现突出。

任务自动化能力上，UI-TARS-72B在Multimodal Mind2Web评测中创造了74.7%的跨任务元素准确率和68.6%的步骤成功率，在AndroidControl高难度任务中实现74.7%的成功率，全面超越现有主流模型。值得注意的是，该模型无需依赖外部工具或API，可直接通过视觉输入理解界面结构并生成操作指令，大幅降低了应用门槛。

行业影响

UI-TARS-72B的出现将深刻改变人机交互和自动化领域的格局。对于企业而言，这一技术有望大幅降低软件测试、数据录入、系统管理等重复性GUI操作的人力成本，据行业测算，成熟的GUI智能体技术可使相关岗位工作效率提升300%-500%。在消费者领域，UI-TARS技术未来可赋能智能助手实现真正的跨应用自动化，如自动完成预订流程、生成报告、整理文件等复杂任务。

开发模式方面，UI-TARS代表的"原生智能体"架构可能颠覆传统的GUI自动化开发范式。不同于当前需要专业人员编写脚本或配置规则的方式，基于UI-TARS的解决方案可通过自然语言指令快速定制自动化流程，使普通用户也能轻松创建复杂的界面操作任务。

结论/前瞻

UI-TARS-72B-DPO通过端到端视觉语言模型架构，突破了传统GUI自动化的技术瓶颈，展现出接近人类的界面理解和操作能力。随着该技术的不断成熟和优化，我们有望在1-2年内看到商业级GUI智能体产品的普及，从根本上改变软件交互方式。未来，结合强化学习和多智能体协作技术，UI-TARS类模型可能进一步扩展到更复杂的场景，如跨系统协同操作、自适应界面设计等，为人机共生时代开启新的可能。

【免费下载链接】UI-TARS-72B-DPO项目地址: https://ai.gitcode.com/hf_mirrors/ByteDance-Seed/UI-TARS-72B-DPO