iPhone-use
浏览文档
本页目录

给 Agent 一个身体。

让 Codex 和 Claude Code 看见并操作真实的 iPhone。

iPhone-use 是什么?

iPhone-use 原名 AgentSoma,是本地 Swift CLI。标准模式使用 Apple PNG 观察、原生 HID 执行;可选 Runner 模式使用 XCTest 与可用无障碍元素。外部 Agent 负责规划和判断结果,不内置模型,也不隐式切换模式。

从这里开始

  1. 安装 CLI

    获取完整的 macOS CLI 与 Runner 发布包。

  2. 安装客户端插件

    将操作流程接入 Codex 或 Claude Code。

  3. 准备 iPhone

    准备 Xcode、设备信任和开发者模式;仅 Runner 需要签名。

  4. 完成首个任务

    进入设置页面、读取截图并断开会话。

观察、操作、验证

观察:采集 Apple PNG;Runner 另提供可用无障碍文本。操作:使用当前引用打开 App、点击、滑动或输入文字。验证:读取新截图,判断任务是否完成。

输入成功只表示执行事实,不代表 App 已达到任务要求的结果。详见执行结果。

当前支持范围

标准模式当前适配 Apple Silicon / macOS 27、Xcode 27 和 iOS 27。Runner 需使用自己的开发签名。0.2.1 已通过宿主与安装包检查;此前候选的真机证据覆盖 iPhone 12 Pro / iOS 27.0.1,不等于已对精确的正式包进行真机验收。全新 Mac、免费 Personal Team 配置与续签、浏览器首次安装仍未验收。详见发布证据。

数据与许可证

设备控制在你的 Mac 和 iPhone 上执行。所选 AI 客户端可能按其数据设置将截图与界面文本发送给模型服务商。使用私密 App 前请检查屏幕内容。iPhone-use 采用 MIT 许可证。