ボード・画面・ポインタを接続する

ファームウェアの書き込みとアプリの導入が終わったら、ボードをiPhoneに接続します。ボードへの給電はiPhoneが行います。設定中と実行中はロックを解除したままにしてください。

1. Bluetoothでペアリングする

ESP32 Agentを開き、Plug Me Inに進みます。Bluetoothの利用を許可し、ボードを選んでペアリングを完了します。

アプリが接続を確認するまで待ってください。ボードに電源が入っていても、暗号化されたBluetooth接続が成立しているとは限りません。タイムアウトした場合は端末を近づけ、アプリの再試行を使います。

Let Me See the Screenに進みます。Hotspot Configurationが利用できるビルドではアプリから接続を要求できます。そうでなければiOSのWi-Fi設定を開き、アプリに表示されたネットワーク名とパスワードで接続します。

自分のボードが表示する情報を使ってください。「インターネット未接続」の表示は想定内です。モデルAPIへのアクセスにはモバイルデータ通信が必要です。

コントロールセンター → 画面ミラーリング → ESP32 Agentを選びます。ボードはAirPlay映像を受信し、BLEでiPhoneアプリに転送します。

一覧に表示されない場合は、ボードのWi-Fiに接続したままか、ボードとの接続が生きているか確認します。自宅など別のWi-Fiに接続したままでは、この構成の受信機は利用できません。

設定 → アクセシビリティ → タッチ → AssistiveTouchを有効にし、アプリのLet Me Use the Pointerに戻ります。

画面に触れずに自動調整の完了を待ってください。直接のタッチ操作ではなくマウスポインタを使うため、小さな対象のクリック精度には調整が重要です。現在は縦向きで使用します。

Give Me a BrainでAPIアドレス、キー、モデルIDを設定します。視覚モデルのガイドで画像入力への対応を確認してください。

まずはWi-Fi設定画面を開くなど、簡単なタスクを試します。停止するときは対応端末のDynamic Islandから、またはアプリに戻って操作します。

ボード・Wi-Fi・ミラーリングの接続が切れると、エージェントは一時停止します。切れた接続を戻し、アプリの案内に従ってください。繰り返す場合はトラブルシューティングで経路を切り分けます。