ネイティブアプリ画面操作エージェント

Phone Agent

画面共有とESP32-S3のBluetooth入力を組み合わせるiOSアプリ。

このプロジェクトが行うこと

共有を許可した画面をアプリが取得し、画像対応モデルの判断をBluetoothマウスとキーボードへ送ります。会話やシステム連携も同じアプリに含まれます。

制限と検証範囲

公開されているのは開発用ソースです。App Store配布は今回確認していません。ペアリング、校正、共有許可が必要で、確認したメタデータではライセンスを特定できませんでした。

確認した出典

確認したREADMEa900450
機材
ESP32-S3。標準ファームウェアはGPIO48 RGBを使用
実行場所
ネイティブiPhoneアプリ
画面・音声の観測
ユーザーが許可する画面全体の共有
入力経路
Bluetooth HIDマウスとASCIIキーボード
導入条件
iOS 27、Xcode 27、署名チーム、ESP-IDF 5.5.4
ライセンス情報
確認したリポジトリのメタデータでは特定できません