Open Computer Use 接入实战:Codex、Claude Code、Gemini CLI 与 opencode 一键安装 MCP 完整指南
【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use
Open Computer Use是一个开源的 Computer Use(电脑操作)服务,它以 MCP(Model Context Protocol)协议提供服务,让 Codex、Claude Code、Gemini CLI、opencode 等任何 AI Agent 都能直接"操作电脑":读应用界面、点击、输入、滚动、拖拽。项目灵感来自 OpenAI 的 Codex Computer Use,核心卖点是非侵入式——基于系统辅助功能实现,且支持 macOS、Linux、Windows 三大平台。
本文将从安装到验证,带你用4 条命令把它接入主流 AI 编程工具,全程无需手写配置。
一、什么是 Open Computer Use:MCP 电脑操作服务 30 秒速览
简单说,它把"眼睛 + 手"装进了 AI Agent:
- 眼睛:
list_apps列出运行中的应用,get_app_state读取某个应用的界面快照(辅助功能树 + 截图) - 手:
click、type_text、press_key、scroll、drag、set_value、perform_secondary_action九种工具,覆盖绝大多数桌面操作
完整工具定义见 ToolDefinitions.swift,MCP 服务入口在 MCPServer.swift。
对 macOS 用户还有一个惊喜:操作中会显示一个拟真的软件光标,动作过程像真人操作一样自然,相关运动模型见 SoftwareCursorOverlay.swift。
二、快速开始:npm 一键安装 Open Computer Use CLI
1️⃣ 安装 CLI
npm i -g open-computer-use安装后你会得到两个命令:open-computer-use和短别名ocu。npm 启动器要求Node.js 18+。
2️⃣ macOS 权限(只需一次)
⚠️ macOS 端要求macOS 14.0 及以上,Windows 和 Linux 无此限制。
open-computer-use doctordoctor会检查 Accessibility(辅助功能)与 Screen Recording(屏幕录制)权限,缺什么就自动弹出引导界面,你只需在系统设置中批准。Windows / Linux 不需要这一步。
3️⃣ 验证服务可用
open-computer-use call list_apps能看到当前运行的应用列表,说明运行时已经就绪。
三、一键安装 MCP:Codex、Claude Code、Gemini CLI、opencode 四端命令速查
这是本文的重点。项目内置了针对各 Agent 的安装器(源码在 scripts/ 目录),幂等设计——重复执行不会污染已有配置。
| AI Agent | 一键安装命令 | 写入位置 |
|---|---|---|
| Codex (CLI) | open-computer-use install-codex-mcp | ~/.codex/config.toml |
| Claude Code | open-computer-use install-claude-mcp | ~/.claude.json |
| Gemini CLI(项目级) | open-computer-use install-gemini-mcp | ./.gemini/settings.json |
| Gemini CLI(用户级) | open-computer-use install-gemini-mcp --scope user | ~/.gemini/settings.json |
| opencode | open-computer-use install-opencode-mcp | ~/.config/opencode/opencode.json |
对应脚本分别是 install-codex-mcp.sh、install-claude-mcp.sh、install-gemini-mcp.sh 和 install-opencode-mcp.sh,底层由 install-config-helper.mjs 统一完成配置读写。
几个实用细节:
- Gemini CLI默认写入当前项目(
.gemini/目录),配合版本管理可以在不同项目间切换;想全局生效加--scope user - opencode会自动探测你实际使用的配置文件(
opencode.json或config.json),两个文件都存在时会同步写入 - 用短别名同样可行:
ocu install-codex-mcp
安装完成后,重启对应的 Agent,用自然语言说"帮我打开某个应用并查看内容",它就会自动调用 Open Computer Use 的工具干活了。
四、进阶用法:Codex App 插件与 Agent Skill
Codex App 插件模式
如果你用的是 Codex App(而非 CLI),推荐插件安装方式:
open-computer-use install-codex-plugin安装官方 Skill 让 Agent "懂行"
Skill 是一份教 Agent 正确使用电脑操作工具的知识包(权限检查、找不到应用怎么办、快照文本截断如何处理等)。配合 MCP 一起装,Agent 的"操作手感"明显更好:
# 为 Codex 安装 skill npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y # 为 Claude Code 安装 skill npx skills add iFurySt/open-codex-computer-use -g -a claude-code --skill open-computer-use -y # 更新已安装的 skill npx skills update open-computer-use -g -ySkill 内容位于 skills/open-computer-use/SKILL.md,其中 references/installation.md 与 references/troubleshooting.md 是排障时最有价值的两份参考。
五、手动配置 MCP:给其他 MCP 客户端的通用方案
如果你的客户端不在内置列表里,直接把这段 stdio 配置加进 MCP 客户端即可:
{ "mcpServers": { "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] } } }这就是官方 README.md 中给出的通用接入方式,任何支持 MCP 的客户端(包括 Claude Desktop 等)都适用。
六、验证接入成功:3 条自检命令
# 权限体检(macOS 建议常跑) open-computer-use doctor # 列出运行中的应用 ocu call list_apps # 读取某个应用的界面状态 open-computer-use call get_app_state --args '{"app":"TextEdit"}'三条全部通过,说明 MCP 链路、权限、运行时三者都 OK。
七、常见问题排查清单 🩺
遇到问题时按这个顺序排查,能解决 90% 的情况:
- macOS 版本太低:macOS 14.0 以下无法启动原生二进制,
doctor和权限修复都救不了,需升级系统或换用 Windows / Linux - 快照为空:目标应用没有可见窗口(最小化/隐藏),或 macOS 缺屏幕录制权限;Windows/Linux 下则要确认命令运行在已登录的桌面会话内(SSH 会话通常不行)
- 找应用找不到:先跑
call list_apps,用返回里的确切名称或 Bundle ID - 文本被截断:快照默认 500 字符限制,可用
text_limit参数调大或设为"max" - Linux 界面属性报错:升级到包含 AT-SPI 接口检测修复的版本(详见 20260808 历史记录)
完整排障手册:troubleshooting.md
八、项目关键资料索引
| 内容 | 路径 |
|---|---|
| 项目说明与快速开始 | README.md |
| 四大 Agent 一键安装脚本 | scripts/ |
| MCP 工具定义(9 个工具) | ToolDefinitions.swift |
| Agent 技能包(含排障指南) | skills/open-computer-use/SKILL.md |
| 架构与产品文档 | docs/ARCHITECTURE.md、docs/DESIGN.md |
总结
Open Computer Use 的接入路径可以浓缩成三步:npm i -g open-computer-use→doctor授权 → 一条install-*-mcp命令。相比手写 MCP 配置,内置安装器让你把 Codex、Claude Code、Gemini CLI、opencode 全部接入只需 4 行命令。装完后,你的 AI 编程助手就拥有了"看屏幕 + 动手操作"的能力——去试试让它帮你操作浏览器或桌面应用吧 🚀
【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考