ネイティブアプリ画面操作エージェント

ESP32 iPhone Agent / Handsy

基板でAirPlayを受信し、USB入力で操作するネイティブiPhoneエージェント。

このプロジェクトが行うこと

Henry Yuanのプロジェクトは、iPhone上でエージェントを実行します。確認した公開ソースではESP32-S3がAirPlayを受信し、映像をアプリへ転送してUSB入力を送ります。

制限と検証範囲

AirPlayの送信元はiPhoneが必要で、macOSミラーリングは非対応です。確認版は映像未着の診断を追加したもので、Mac対応ではありません。映像は引き続きBLEで、告知されたWi-Fi映像版は含まれません。縦向き・ASCII入力の制限があり、当サイトでは実機未検証です。

確認した出典

確認したREADMEd986bedESP32 iPhone Agentの導入ノートを読む
機材
PSRAMとネイティブUSBを備えたESP32-S3
実行場所
iPhoneアプリ。ビルドと署名にはパソコンが必要
画面・音声の観測
AirPlay → ESP32-S3 → BLE → アプリ
入力経路
USB HIDマウスとキーボード
導入条件
iOS 18+、Xcode、Arduinoファームウェア、画像対応モデル
ライセンス情報
MIT; AirPlay components GPL-3.0