原生手机 App屏幕操作 Agent衍生项目

ESP32 iPhone Agent with Midscene

社区 fork:手机本地取屏、BLE 键鼠输入,在 iPhone App 内运行 Midscene。

这个项目做什么

这个 Henry Yuan 项目的衍生版以用户授权的 ScreenCaptureKit 取屏替换板端 AirPlay,用独立供电的 ESP32-S3 输出蓝牙键鼠。Midscene 1.16.1 在本地 WKWebView 内运行,Swift 负责模型请求与输入。截图仍发往所配置模型,本地取屏不代表离线;保存的是选定步骤的 JPEG 与轨迹,不是连续视频。

基于: ESP32 iPhone Agent by Henry Yuan

限制与验证范围

这是社区 fork,不是上游发布。作者记录了 10 月 25 日的世界时钟任务,不构成兼容性或稳定性研究,本站未复测。同一提交的公开 CI 40447079087 中,固件与 JS 检查通过,iOS 模拟器测试步骤失败。仍受竖屏、ASCII 和 iOS 后台调度限制;迁移需同时更新该 fork 的 App 与固件,不能直接混用上游 AirPlay 固件。

核对来源

已核对的 READMEf1787f4
硬件
独立供电的 ESP32-S3 N16R8;USB 转串口用于刷写
运行位置
原生 iPhone App,内置 Midscene 网页运行时
画面或声音观察
iPhone 上的 ScreenCaptureKit;每次启动共享需用户授权
输入链路
BLE HID 鼠标与 ASCII 键盘
搭建条件
iOS 27+、Xcode 27+、签名、Node 22+、pnpm 10 与该 fork 的纯 HID 固件
许可信息
MIT