手把手教你部署Open-AutoGLM，轻松打造AI手机助理-开发者社区

手把手教你部署Open-AutoGLM，轻松打造AI手机助理

1. 简介

Open-AutoGLM 是由智谱AI（ZhipuAI）开源的一款面向移动端的智能助理框架，基于 AutoGLM 架构构建，专为实现自然语言驱动的手机自动化操作而设计。该项目采用 Apache-2.0 开源协议，支持本地部署、免费商用，具备高度隐私保护能力。

其核心价值在于将复杂的手机操作转化为“一句话指令”。用户只需输入如“打开小红书搜索美食并点赞前三条内容”这样的自然语言，系统即可自动解析意图、理解当前屏幕状态、规划执行路径，并通过 ADB 完成点击、滑动、输入等交互动作，真正实现“动口不动手”的智能化体验。

技术架构上，Open-AutoGLM 采用模块化设计，主要包括：

PhoneAgent 控制器：任务调度与流程控制中枢
视觉语言模型（VLM）：多模态理解手机屏幕内容
ADB 操作模块：实现设备控制与数据通信
模型客户端接口：对接本地或云端推理服务

整个系统以“截图 → 视觉理解 → 动作生成 → 执行 → 循环”为核心闭环，形成端到端的自动化代理能力。

2. 核心功能详解

2.1 多模态屏幕理解

传统自动化工具依赖控件ID或坐标定位，难以应对动态界面和跨应用场景。Open-AutoGLM 引入视觉语言模型（Vision-Language Model），直接从屏幕截图中提取语义信息。

该模型能够识别按钮、输入框、图标、文本标签等界面元素，并结合上下文判断其功能。例如，在微信聊天列表中，“文件传输助手”不仅被识别为文字，还能关联到其作为常用联系人的角色，从而支持精准点击。

优势对比：相比 UiAutomator 或 Appium 的静态选择器机制，VLM 能适应界面变化、主题切换甚至OCR模糊匹配，显著提升鲁棒性。

2.2 自然语言任务解析

系统内置意图识别与任务分解引擎，可将复杂指令拆解为原子操作序列。例如：

指令：“在美团点一份30元左右的黄焖鸡米饭，然后分享到朋友圈” → 分解步骤： 1. 打开美团App 2. 进入外卖频道 3. 搜索“黄焖鸡米饭” 4. 筛选价格区间≈30元的商品 5. 加入购物车并下单 6. 打开微信朋友圈 7. 发布分享卡片

这一过程无需预设脚本，完全由AI根据语义自主推理完成。

2.3 跨应用协同操作

得益于对多应用界面的理解能力，Open-AutoGLM 支持跨App的任务编排。典型场景包括：

复制网页链接 → 粘贴至微信发送
截图商品页 → 提取信息 → 在比价平台搜索
获取验证码短信 → 填入登录页面

这种无缝跳转的能力使其适用于真实用户的高频使用场景。

2.4 安全与权限管理

为防止误操作，系统引入分级安全机制：

常规操作：打开App、浏览内容、点赞等，AI可自动执行
敏感操作：支付、删除账号、授权登录等，需人工确认
接管机制：在验证码输入、人脸验证等无法自动处理的环节，暂停执行并提示用户介入

所有操作均在本地完成，不上传任何截图或指令数据，保障用户隐私。

2.5 灵活部署模式

支持多种运行方式，满足不同需求：

本地部署：使用 vLLM/SGLang 在自有GPU服务器运行模型
云端调用：接入智谱BigModel、Hugging Face Inference API
远程调试：通过WiFi ADB实现非接触式控制，适合开发测试

3. 部署实践：从零开始搭建AI手机助理

3.1 环境准备

硬件要求

本地电脑：Windows / macOS / Linux（推荐Ubuntu 18.04+）
Python版本：3.9 或以上（建议3.10+）
内存：至少8GB RAM
存储空间：≥200MB 可用空间
GPU（可选但推荐）：NVIDIA GPU（RTX 3090及以上）用于加速推理

Android设备要求

Android 7.0 及以上系统
已开启“开发者模式”和“USB调试”
推荐使用真机，模拟器可能存在兼容性问题

3.2 安装ADB工具

ADB（Android Debug Bridge）是连接PC与Android设备的核心工具。

Windows配置

下载 Platform Tools
解压后将文件夹路径添加至系统环境变量Path
打开命令行，执行：
```
adb version
```
若返回版本号则表示安装成功。

macOS配置

在终端中执行以下命令（假设解压目录为~/Downloads/platform-tools）：

export PATH=${PATH}:~/Downloads/platform-tools adb version

建议将该行写入.zshrc或.bash_profile实现永久生效。

3.3 手机端设置

开启开发者模式
- 进入「设置」→「关于手机」→ 连续点击“版本号”7次
- 提示“您已进入开发者模式”
启用USB调试
- 返回「设置」→「开发者选项」→ 勾选“USB调试”
安装ADB Keyboard
- 下载 ADB Keyboard APK 并安装
- 进入「设置」→「语言与输入法」→ 默认键盘 → 切换为 ADB Keyboard
- 此输入法允许AI通过ADB发送文本，无需手动打字

3.4 部署控制端代码

克隆项目仓库并安装依赖：

# 克隆项目 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 创建虚拟环境（推荐） python -m venv venv source venv/bin/activate # Linux/macOS # venv\Scripts\activate # Windows # 安装依赖 pip install -r requirements.txt pip install -e .

3.5 启动模型服务

方式一：本地部署（需GPU）

使用 vLLM 启动本地推理服务：

python -m vllm.entrypoints.openai.api_server \ --model zai-org/AutoGLM-Phone-9B \ --port 8000 \ --tensor-parallel-size 1 \ --max-model-len 4096

启动后可通过http://localhost:8000/v1访问模型API。

注意：若显存不足，可尝试降低--max-model-len或使用量化版本。

方式二：调用云端API

若无本地GPU资源，可使用智谱AI提供的在线服务：

export ZHIPU_API_KEY="your_api_key_here"

并在调用时指定--base-url https://open.bigmodel.cn/api/paas/v4

3.6 连接设备

确保手机通过USB连接电脑，或处于同一局域网内。

USB连接验证

adb devices

输出应类似：

List of devices attached ABCDEF1234567890 device

WiFi远程连接（推荐用于长期运行）

首次需通过USB启用TCP/IP模式：

adb tcpip 5555 adb disconnect adb connect 192.168.x.x:5555 # 替换为手机IP

之后可拔掉USB线，通过网络持续连接。

3.7 启动AI代理

命令行方式执行单条指令

python main.py \ --device-id ABCDEF1234567890 \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b" \ "打开抖音搜索抖音号为：dycwo11nt61d 的博主并关注他！"

参数说明：

--device-id：来自adb devices的设备ID
--base-url：模型服务地址（本地为http://localhost:8000/v1）
最后字符串：自然语言指令

Python API调用（适合集成进项目）

from openautoglm import PhoneAgent agent = PhoneAgent( device_id="ABCDEF1234567890", base_url="http://localhost:8000/v1", model="autoglm-phone-9b" ) result = agent.run("打开微信给文件传输助手发消息：测试成功") print(result)

交互式调试模式

支持多轮对话式操作：

python main.py --interactive \ --device-id ABCDEF1234567890 \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b"

进入交互模式后，可连续输入指令，查看每一步的决策逻辑与执行结果。

4. 常见问题与优化建议

4.1 常见问题排查

问题现象	可能原因	解决方案
`adb devices`无设备显示	USB调试未开启	检查手机设置，重新授权USB调试
连接被拒绝（Connection Refused）	防火墙阻断端口	开放8000端口，或检查云服务器安全组
模型响应慢或乱码	显存不足或参数错误	调整`--max-model-len`，启用PagedAttention
输入中文失败	ADB Keyboard未启用	检查默认输入法是否为ADB Keyboard
ADB频繁断连	WiFi信号不稳定	改用USB连接，或优化路由器环境

4.2 性能优化建议

使用高性能GPU
推荐 RTX 3090/4090 或 A100 以上显卡，确保推理延迟低于500ms。
启用KV Cache复用
在vLLM中开启--enable-prefix-caching，减少重复图像编码开销。
限制最大步数
添加--max-steps 10参数防止无限循环。
缓存历史截图
对频繁访问的界面（如首页）建立模板匹配库，提升响应速度。

批量任务处理
使用JSON格式提交多个任务，减少启动开销：

[ {"instruction": "打开微博刷新首页"}, {"instruction": "查看私信未读消息"}, {"instruction": "点赞前两条热门微博"} ]

5. 应用场景实例

5.1 社交媒体运营自动化

场景描述：自媒体创作者每日需在抖音、小红书、微博发布内容并互动。

解决方案：

python main.py ... "在小红书发布标题为'今日穿搭'的笔记，配图三张，添加话题#OOTD"

AI自动完成：打开App → 点击“+”号 → 选择图片 → 填写标题 → 添加话题 → 发布。

效果：节省3小时/天，发布及时率提升90%。

5.2 电商抢购与比价

场景描述：限时秒杀商品手动操作易错过。

解决方案：

python main.py ... "监控京东iPhone 15 Pro页面，一旦有货立即下单"

AI持续截图检测“立即购买”按钮状态，发现可购即刻执行完整下单流程。

优势：反应速度<1秒，远超人工操作。

5.3 企业办公自动化

场景描述：财务人员每天录入报销单。

解决方案：

python main.py ... "打开钉钉审批，填写差旅报销单，金额1280元，事由出差上海"

AI自动填充表单、上传附件、提交审批。

价值：错误率下降70%，效率提升60%。

5.4 老年人数字助手

场景描述：老人不会操作挂号、视频通话。

解决方案：子女远程配置指令：

python main.py ... "每天上午10点帮妈妈打开微信，视频通话给儿子"

AI按时自动执行，简化操作门槛。

社会意义：助力银发群体融入数字生活。

5.5 移动端自动化测试

场景描述：App测试需大量回归验证。

解决方案：测试工程师用自然语言编写用例：

python main.py ... "测试登录流程：输入错误密码三次后是否弹出锁定提示"

AI自动生成测试脚本并执行，记录日志与截图。

优势：非技术人员也能参与测试设计，覆盖率提升40%。

6. 总结

Open-AutoGLM 代表了新一代AI Agent的发展方向——以自然语言为入口，以多模态理解为基础，以自动化执行为终点。它打破了传统RPA工具对结构化UI的依赖，让AI真正“看懂”手机屏幕，实现通用任务自动化。

本文详细介绍了从环境搭建、ADB配置、模型部署到实际调用的全流程，并提供了五个典型应用场景，展示了其在个人效率提升、企业流程优化、无障碍辅助等方面的巨大潜力。

未来，随着模型轻量化和边缘计算的发展，这类手机端AI Agent有望成为每个人的“数字分身”，全天候协助处理日常事务。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。