GitHub工具推荐：iPhone-use让Codex通过USB直接操控手机，附安装指引

导语GitHub上的开源项目zhongerxin/iPhone-use近期热度上升。它让Codex等AI Agent能够通过USB连接真实iPhone完成App自动化操作、实时屏幕查看与截图回退。本文整理其原理、关键依赖与安装要点供需要做iOS端自动化测试或AI接入的读者参考。一、项目地址与基本信息仓库地址https://github.com/zhongerxin/iPhone-use当前版本0.3.6持续迭代中许可证开源具体以仓库 LICENSE 为准形态Codex插件 本地 MCP 服务 安装引导技能 实时屏幕 widget该项目已衍生出若干社区分支例如tangshunpu/iPhone-use加入腾讯 WorkBuddy、字节豆包工作 等国产 Agent 端口quanru/iPhone-use加入可选的 Midscene 集成xiangyingchang/iPhone-use、Xiangyu-CAS/iPhone-use 等社区维护分支二、它能做什么按照官方README描述iPhone-use的目标是”让 Codex 通过 USB 操作真实 iPhone“具体覆盖以下能力引导式安装把WebDriverAgentWDA的搭建过程拆成可执行的步骤降低上手门槛App 自动化通过WDA对iPhone上的应用进行点击、输入、滚动等操作实时屏幕视图右侧栏显示手机当前画面便于AI与人类同步观察截图回退机制当控件定位失败时引导模型先看截图再尝试坐标点击这一组合让”自然语言指令 → 真实iPhone操作”成为可能。例如让Codex”打开Safari并搜索某关键词”、”在备忘录里写下某段文字”、”截屏当前页面”等。iPhone-use架构示意图三、技术架构iPhone-use并不重新发明轮子而是把现有Appium生态组件封装成一个开箱即用的Codex插件组件 角色WebDriverAgentWDA 跑在iPhone端的自动化执行服务appium-ios-device 提供USB通信、端口转发与屏幕流能力Appium 整体生态底座本地 MCP 服务 把上述能力以MCP工具的形式暴露给Codex屏幕 widget 在桌面上显示实时画面的HTML小窗按照官方说明用户无需单独运行Appium Server安装插件即可使用。控件查找失败时会自动切到截图分析模式给出更稳定的鲁棒性。四、环境要求macOSWDA 需要用 Xcode 构建依赖 macOS XcodeiPhone一台可被Xcode识别的iPhone任意系统版本需自行确认USB 数据线用于连接Mac与iPhoneApple ID用于签名WDA Runner个人免费账号即可但证书有效期7天付费开发者账号可长期签名Node.js运行MCP服务所需的版本Codex作为前端Agent接收自然语言五、安装步骤概览按照README的指引整体流程大致如下克隆仓库git clone https://github.com/zhongerxin/iPhone-use.git构建并安装 WebDriverAgentRunner打开仓库或单独拉取的WDA源码中的 WebDriverAgent.xcodeproj在Xcode左上角选择 WebDriverAgentRunner scheme并把目标设备切换为你的iPhone在Runner target的 Signing Capabilities 中选择自己的Apple ID与可签名的Bundle Identifier通过 Product → Test 构建、安装并运行WDA RunneriPhone端根据提示进入 设置 → 通用 → VPN与设备管理 信任证书安装插件与依赖安装过程中通常涉及 npm install / plugin install 等步骤具体以仓库当前 README 为准启动MCP服务与Codex按照官方配置启用iPhone-use相关skills与tools重启Codex会话即可在右侧栏看到实时屏幕。六、隐私与遥测官方说明指出默认会向一个PostHog项目发送匿名的使用统计包括启动事件工具调用次数连接状态耗时错误类型随机生成的安装标识不绑定用户身份明确不上传屏幕内容、用户输入、设备标识符。如不希望被统计可在启动前设置export IPHONE_USE_ANALYTICS0或export DO_NOT_TRACK1七、适用场景与局限适合AI Agent接入iOS端的实验与原型开发iOS UI自动化测试个人手机操作的脚本化截图、批量填表、辅助输入等安全研究中需要把AI能力延伸到iPhone的场景前提是合规授权局限仅限macOS Xcode环境Windows/Linux无法直接构建WDA个人Apple ID签名证书有效期7天过期需重签App Store上对自动化操作敏感的应用如银行类、涉及支付密码的页面通常会触发风控iOS系统升级后WDA可能需要更新匹配版本八、小结iPhone-use把Appium生态与Codex生态做了桥接让”AI操控真实iPhone”从概念走向可落地的开源方案。对于做iOS自动化测试、AI Agent接入移动端、或研究AI在移动设备上行为的研究者来说是一个值得上手的开源项目。建议从官方README开始遇到WDA签名、构建失败等问题时优先查看仓库的Issues与社区分支如 tangshunpu/iPhone-use 中的国产Agent端口说明。