Midscene AI自动化教程：3步用自然语言控制浏览器和手机-开发者社区

Midscene AI自动化教程：3步用自然语言控制浏览器和手机

【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene

E2E 测试里最耗时间的部分，往往不是写测试逻辑，而是维护一堆选择器：页面结构一变，用例就挂；移动端和桌面端原生应用连 DOM 都没有，传统工具基本无计可施。Midscene 换了条路线：它用视觉语言模型"看"屏幕截图，像人一样找到界面上的元素，再执行点击、输入、滚动，全部由自然语言指令驱动。核心实现位于 packages/core/，这套视觉驱动的 AI 自动化方式，就是它区别于 Selenium 类工具的关键。

它是什么：一个"看屏幕"的 GUI Agent

Midscene 是一个面向 E2E 测试的 GUI Agent，解决的是"操作界面并验证结果"这件事。同一套 Agent API 覆盖 Web、Android、iOS、HarmonyOS 和桌面应用五个平台，并内置了测试框架、交互式 HTML 报告和 Playwright、Puppeteer 集成接口。它还提供浏览器扩展和分平台 Playground，不写一行代码就能先试起来。想了解全貌，可以看官方介绍文档。

能做什么：三个自然语言指令

整个框架围绕三个 API 动词展开：

aiAct：规划并执行交互，比如"点击登录按钮"。
aiQuery：提取结构化数据，比如"取出页面中商品的名称和价格"。
aiAssert：检查界面状态，比如"邮箱输入框下方显示了错误提示"。

在 Playwright 里写一个 Web 测试，大致是这样：

await agent.aiAct('搜索耳机，然后将结果筛选为价格低于 100 美元'); await agent.aiAssert('搜索结果中的每件商品价格都低于 100 美元');

断言和操作走的是同一套视觉路径：Midscene 像人工测试那样观察屏幕，颜色、选中高亮、canvas 绘制的内容都能检查，不依赖 DOM。

Chrome 扩展是最直接的体验入口：页面右侧的侧边栏里输入指令，它立即定位元素并执行操作，执行过程可以随时导出成报告文件。

上手路径：先装扩展，再本地运行 Playground

只想体验的话，三步走：

安装 Midscene Chrome 扩展，打开任意网页的侧边栏，在设置里粘贴多模态模型配置（云端模型或本地 Ollama 都可以）。
输入符合当前页面的指令，例如"在搜索框输入关键词并回车"。
确认指令效果后，把同样的指令通过对应 Agent API 写进代码即可，扩展与@midscene/web共享核心能力。

想本地跑完整 Playground（Web、Android、iOS 各有独立入口），需要 Node 20.19+ 和 pnpm：

git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install

装完按快速开始指南启动对应平台的 Playground，再连上设备或浏览器即可。

没有 DOM 的屏幕怎么定位元素

传统工具靠 CSS 选择器或 XPath，遇到 canvas 渲染的页面、纯图标按钮就抓瞎。Midscene 不关心 DOM：每步操作前把截图发给模型，模型返回元素位置和该执行的动作。

这条路有两个实际好处。第一，跨域 iframe、自定义控件、原生 App 界面一视同仁。第二，截图比 DOM 树小得多，调用成本可控——官方 AppControlBench 报告中，60 个任务总模型费用 0.59 美元，通过 58 个，Pass@1 为 96.7%。规划、视觉、断言的模型请求如何在 packages/core/src/ai-model/ 里组织，读源码可以看到细节。

使用场景：两个典型用法

维护 Web E2E 套件的测试工程师：把不稳定环节从选择器迁移到 Midscene，UI 流程用自然语言描述。每次执行后打开生成的 HTML 报告，逐步查看截图、AI 决策过程和断言结果，回归失败时直接定位到出错的步骤。

测安卓应用的 QA：启动 Android Playground 连上手机，输入"打开设置，查看当前安卓版本号"，能实时看到任务被拆成 Planning、Locate、Tap 一步步执行，不用先写 instrumentation 代码。

进阶：YAML 脚本与多平台工程化

想把自动化沉淀为测试工程，有两条路径。一条是@midscene/cli命令行工具，直接运行 YAML 格式的自动化脚本，UI 流程和预期结果写在 YAML 里即可，适合快速落地的场景。另一条是 Midscene Test 框架（Beta），它把声明式测试意图和工程代码分开：YAML 写 UI 流程，TypeScript 节点封装 API 调用、数据准备和清理，自带生命周期钩子、重试和并发隔离。

平台代码各自独立成包：packages/android/、packages/ios/、packages/computer/，每层设备连接和 Playground 都是分开的。自定义界面也按同样思路接入——提供截图和操作能力即可，文档在 integrate-with-any-interface。