必要な機材と対応条件 — ESP32 iPhone Agent

必要なのはESP32-S3です。「ESP32」という名前だけでは判断できません。マウス・キーボード入力にはネイティブUSBが、映像経路のバッファにはPSRAMが必要です。

動作確認に使われた構成

機材	条件
ボード	通常版Seeed Studio XIAO ESP32S3、8 MB PSRAM。SenseやPlusではありません
iPhone	iOS 18以降
USB-Cモデル	ボードのネイティブUSBポートへのデータ接続
Lightningモデル	Lightning - USBカメラアダプタと適切なデータ接続
ネットワーク	ミラーリングはボードのWi-Fi、モデルへの通信はモバイルデータ
初回導入	Mac、Xcode、arduino-cli、Apple ID
モデル	OpenAI互換のChat APIで画像入力に対応していること

ボードにはiPhoneから給電します。約7ドルはボード単体の参考価格です。アダプタ、モデル利用、通信量によって別途費用がかかります。ボードの詳細はメーカーの資料を参照してください。

上流のREADMEでは、ネイティブUSBとPSRAMを備える他のESP32-S3も動作する想定です。ただし、すべてのボードを検証した対応一覧ではありません。

USB端子がUSBシリアル変換チップだけでなく、S3のネイティブUSBに接続されているか確認してください。付属のスクリプトは8 MB Flash、OPI PSRAMを対象としているため、別のボードでは設定の変更が必要な場合があります。

ESP32、ESP32-C3、PSRAM非搭載ボードをそのまま代用できるとは考えないでください。まず動作を確認したい場合は、既知の構成を使うと切り分けやすくなります。

iPhoneはボードのWi-Fiアクセスポイントに接続して画面を送信します。このネットワークにインターネット接続はなく、現在の構成ではモデルへのリクエストにモバイル通信を使います。

自宅のLAN内だけで公開しているモデルは、この状態ではアクセスできない場合があります。実際に使う接続環境で、iPhoneからAPIに到達できることを確認してください。

現在の手順では、Macでファームウェアを書き込み、XcodeでiOSアプリをインストールします。無料のApple IDでも署名できますが、7日ごとに再署名が必要です。

Wi-Fiへのワンタップ接続にはHotspot Configurationの権限と有料の開発者アカウントが必要です。このオプションを使わない場合は、アプリが表示する情報で手動接続できます。

縦向きのみ対応。 横向きの座標処理と調整は今後の課題です。
文字入力はASCIIのみ。 日本語や中国語の直接入力は未対応です。
ロック解除が必要。 ロックするとミラーリングが停止します。
映らない画面があります。 パスコード入力、Apple Pay、DRMで保護された動画などは認識できません。
操作には待ち時間があります。 ミラーの解像度・フレームレートは限られ、モデルの応答時間も加わります。
自分でビルドするアプリです。 現在は非公開のsuspend APIを使っています。App Storeでの配布や審査通過を意味するものではありません。

条件を確認したら、導入ガイドへ進みましょう。