Open Computer Use 路线图与社区贡献指南：Windows/Linux 第一版之后的演进方向

Open Computer Use 路线图与社区贡献指南Windows/Linux 第一版之后的演进方向【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-useOpen Computer Use是一个开源的 Computer Use 服务以 MCPModel Context Protocol形式向任何 AI Agent 暴露统一的桌面操控能力被视为 Codex Computer Use 的开源替代。项目从 macOS 主线起步目前已在 macOS、Windows、Linux 三端跑通同一组 9 个 Computer Use 工具。本文梳理三端的第一版现状、后续演进方向并给出面向新手和社区贡献者的完整上手指南。一、先看全局三端架构与 9 个统一工具Open Computer Use 的核心承诺是一个 npm 包三种操作系统同一套工具协议面。执行npm i -g open-computer-use后root launcher 会根据当前os-arch自动选择内置的对应平台运行时。三个平台共享同一组 9 个工具工具能力list_apps列出运行中及近期使用过的应用get_app_state抓取应用可访问性树 截图快照click元素/坐标点击perform_secondary_action执行元素暴露的次级动作菜单项等scroll滚动支持小数页数drag坐标拖拽type_text后台文本输入press_key按键模拟set_value直接设置可编辑元素的值三端实现边界清晰架构细节记录在 docs/ARCHITECTURE.mdmacOS成熟主线Swift 实现的 packages/OpenComputerUseKit 核心库 独立.app权限引导具备视觉光标visual cursor、SkyClick 点击、JS REPLocu js/ocu repl等完整体验。Windows功能性第一版独立 Go 二进制 apps/OpenComputerUseWindows/内嵌 PowerShell UI Automation 桥接。Linux功能性第一版独立 Go 二进制 apps/OpenComputerUseLinux/内嵌 Python AT-SPI 桥接。二、Windows 路线图从第一版到可靠后台操控 Windows 第一版已实现 9 个工具的功能闭环并做了两个重要设计决策默认不启动应用、默认不抢占焦点前台行为均需显式环境变量开启type_text默认走EM_SETSEL/EM_REPLACESEL后台消息路径避免把目标窗口带到前台。根据执行计划 docs/exec-plans/active/20260422-windows-computer-use-runtime.md后续演进方向包括交互式桌面 smoke 测试补 Notepad / Edge 等真实应用的 UI 动作验证Windows fixture 与可重复 smoke runner把实机验证沉淀成可重复脚本后台截图路径评估PrintWindow/ Windows Graphics Capture补一条不依赖窗口可见性的截图方案原生 UIA 桥接评估用原生 Go COM/UIA 替换 PowerShell 桥接降低延迟与运行时依赖签名与安装器补 Windows signing / installer 方案。 新手注意Windows 上 UI Automation 需要在已登录的桌面 session 中运行SSH 后台进程可能看不到顶层窗口——这不是 bug而是平台边界。三、Linux 路线图AT-SPI 优先坐标输入只做兜底 Linux 第一版策略是AT-SPI 语义动作 / EditableText / Value 接口优先坐标键鼠仅作为 best-effort fallback——因为 Wayland 下不存在等价于 macOS AX 的通用后台键鼠模型。已完成的亮点包括session 环境自动发现无需手工配置DBUS_SESSION_BUS_ADDRESS、GNOME Wayland 黑图检测检测到全黑截图时省略 image block避免误导模型。根据执行计划 docs/exec-plans/active/20260422-linux-computer-use-runtime.md后续演进方向包括Linux fixture 与可重复 smoke runner与 Windows 一样把 Ubuntu GNOME VM 上的 9 工具验证脚本化更稳定的截图方案评估xdg-desktop-portal/ 合成器专属截图路径补非黑图 capture原生 Go D-Bus/libatspi 桥接评估替换嵌入式 Python GI 桥接的收益与风险目标是减少外部运行时依赖。四、macOS 主线与横向方向macOS 是功能最全的平台近期的演进集中在四条线官方对齐9 个工具的 schema、错误语义、list_apps输出风格已与官方computer-use 1.0.755收口对齐记录在 docs/exec-plans/active/20260417-official-tool-alignment.md 与 docs/exec-plans/active/20260422-remaining-tool-official-alignment.md嵌入式宿主隔离App Agent 支持可选 Socket namespaceOPEN_COMPUTER_USE_AGENT_SOCKET_NAMESPACE让多个 OCU bundle 不再互相终止 Agent见 docs/exec-plans/active/20260901-embedded-app-agent-socket-isolation.mdCode-first 体验Codex plugin 暴露持久 JS REPLcua绑定以异步 API 形式操控应用真实应用回归样本技术债跟踪表中列出了 Safari / System Settings 等复杂应用的回归验证待办见 docs/exec-plans/tech-debt-tracker.md。视觉光标visual cursor是 macOS 主线的招牌特性click/set_value会驱动一个官方风格的软件光标做 C 形弧线运动、点击脉冲和 idle 摆动。相关运动模型由 experiments/CursorMotion/ 和 experiments/StandaloneCursor/ 两个独立实验 target 持续打磨与主运行时隔离避免实验噪音污染产品行为。五、社区贡献指南从第一个 PR 开始1. 一键上手环境git clone https://gitcode.com/gh_mirrors/op/open-codex-computer-use cd open-codex-computer-use然后按文档路由阅读。这个仓库是Agent-first组织的协作规则对人和 AI Agent 一视同仁总入口是 AGENTS.md先读 AGENTS.md 做路由再按任务类型读对应文档仓库级知识必须落在版本化文件里——只存在于聊天记录里的信息等于不存在行为变了代码、文档、测试和 release/history 记录要在同一次改动里一起更新。2. 本地验证命令速查场景命令文档检查make check-docs端到端 smoke9 工具 视觉光标make smoke压力测试OPEN_COMPUTER_USE_STRESS_LOOPS20 make stressAgent 冒烟make agent-smokemacOS 单测swift testWindows runtime 单测(cd apps/OpenComputerUseWindows go test ./...)Linux runtime 单测(cd apps/OpenComputerUseLinux go test ./...)权限诊断open-computer-use doctor3. 发起 PR 之前的检查清单✅ 运行make check-docs ✅ 涉及代码或流程改动时补齐 docs/histories/ 下对应的 history 记录 ✅ 变更对用户可感知时补齐 release note ✅ 确认示例、脚本、文档与当前实现一致。4. Review 默认要求优先拆成范围清晰的小 PR明确写出风险点、迁移影响和后续待办上下文复杂时直接链接对应的 plan / spec / history 文件不要依赖评审者猜。5. 大任务先写执行计划遇到跨度大、风险高、需要多轮推进的任务先在 docs/exec-plans/active/ 下建一份 execution plan可参考 docs/exec-plans/templates/execution-plan.md 模板。计划文件固定包含目标、范围、背景、风险、里程碑、验证方式、进度记录和决策记录。本文第二节、第三节列出的 Windows/Linux 路线 TODO正是来自这两份计划文件里的未勾选项——它们就是社区可以直接认领的贡献方向。6. 参与发布流程进阶版本发布受 docs/releases/RELEASE_GUIDE.md 约束。要点版本号以 plugin manifest 为唯一版本源GitHub Release 正文必须使用审核过的英文 notes 文件docs/releases/github/vX.Y.Z.mdtag 推送前必须本地跑通 notes 校验与 staging 构建。新手建议先在本地跑./scripts/release-package.sh体验完整 staging 流程而不必参与实际发版。六、关键文档导航 文档用途AGENTS.md仓库协作总入口与文档路由CONTRIBUTING.md参与协作与 PR 前检查清单docs/ARCHITECTURE.md三端架构总览与运行分层docs/exec-plans/active/进行中的执行计划路线图源docs/exec-plans/tech-debt-tracker.md技术债与待补验证项docs/REPO_COLLAB_GUIDE.md仓库协作约定文档纪律、Git、测试docs/releases/RELEASE_GUIDE.md发版流程与故障排查docs/references/官方 Computer Use 逆向分析参考资料docs/SECURITY.md / docs/RELIABILITY.md安全与可靠性约束skills/open-computer-use/SKILL.md面向 Agent 的可安装 skill总结Open Computer Use 的路线图清晰分三层——macOS 主线继续打磨官方对齐、视觉光标与 code-first 体验Windows 补齐桌面 smoke、后台截图与原生 UIALinux 补齐 fixture、稳定截图与原生 D-Bus 桥接。对社区贡献者来说docs/exec-plans/active/ 里每个未勾选的 TODO 都是一个可认领的入口读计划、跑 smoke、补测试、写 history就是这个仓库期望的贡献姿势。【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考