文档总览

看 AI 如何操作真实的 iPhone

项目真实素材、当前 App 画面,以及可以自己尝试的第一条任务。

项目通过 ESP32-S3,让视觉 Agent 操作真实的 iPhone。先用这些素材理解操作方式,再在自己的设备上跑一个容易验证的小任务。

项目演示视频

在 YouTube 观看项目演示(在新标签页打开)。

设置每周重复的闹钟

项目公开示例要求设置早上 8:00 的闹钟,在每周一和周二重复,然后保存。Agent 打开时钟、修改时间与重复日期,再保存闹钟。

连接 ESP32-S3 的真实 iPhone 与旧版 Agent 界面,正在执行闹钟任务

**版本说明:**这张闹钟照片来自使用电脑端 Agent 的 v0.1.0,用于展示任务,不代表当前安装架构。当前主线的 Agent 运行在 iPhone App 内。

当前 iPhone App

真机上的 ESP32 Agent 与指针校准页面,旁边是对应镜像画面

这些图片来自项目,展示 App 与指针校准界面,不是与你设备建立的实时连接。

先尝试一个简单任务

完成搭建后,试试「打开设置,进入无线局域网」。保持手机解锁和竖屏,观察操作,再亲自检查是否确实进入了目标页面。

这是一项建议的基础检查,不是成功率承诺。模型、当前画面、连接与校准都会影响结果。先跑通小任务,再逐渐增加复杂度。

看清每一步动作

在 Runs 中回放点按与滑动。出现错误时,导出运行记录,定位第一次错误决策或未成功执行的动作,比只看最终页面更有助于排查。

项目来源

README.md