このプロジェクトが行うこと
ActellはAppleのCoreDevice経由で画面取得とタッチ操作を行います。標準はVPNループバックで、ESP32-S3のUSB NCM中継も選べます。HIDだけで操作する方式とは異なります。
制限と検証範囲
作者が初期プロトタイプと明記しています。限定的な画面取得とタップの確認は、完全なタスクやドラッグ、長時間のバックグラウンド動作を保証しません。標準VPN経路にESP32は不要です。
確認した出典
確認したREADMEa0d9eedネイティブアプリ画面操作エージェント
Actell / 执言
CoreDeviceを使う実験的エージェント。ESP32-S3のUSBネットワーク中継も選択可能。
- 機材
- NCM経路ではネイティブUSB対応ESP32-S3を任意で使用
- 実行場所
- Swift / Rustバックエンドを含むネイティブiPhoneアプリ
- 画面・音声の観測
- CoreDeviceによる画面取得
- 入力経路
- CoreDeviceのタッチ操作
- 導入条件
- iOS 27+、Xcode 27、署名、Developer Mode、ペアリング、対応ディスクイメージ
- ライセンス情報
- GPL-3.0