原生手机 App屏幕操作 Agent

Actell / 执言

基于 CoreDevice 的实验性手机 Agent,可选 ESP32-S3 USB 网络中继。

这个项目做什么

Actell 在手机端通过 Apple CoreDevice 通道观察屏幕、执行触控。默认连接方式是 VPN 回环,也可用 ESP32-S3 提供 USB NCM 中继,与纯 HID 键鼠方案不同。

限制与验证范围

作者明确标为早期原型。受控条件下的截图和点击不代表完整任务、拖动或长时间后台运行可靠;默认 VPN 路线并不需要 ESP32。

核对来源

已核对的 READMEa0d9eed
硬件
NCM 路线可选带原生 USB 的 ESP32-S3
运行位置
带 Swift / Rust 后端的原生 iPhone App
画面或声音观察
CoreDevice 取屏
输入链路
CoreDevice 触控动作
搭建条件
iOS 27+、Xcode 27、签名、开发者模式、配对和匹配的开发者磁盘映像
许可信息
GPL-3.0