01
画面を見る
AirPlayで画面をボードにミラーリング。ボードはBluetooth経由で、同じiPhone上のアプリに映像を転送します。
AIに指示して、
iPhoneを操作。
アプリを開く、設定を変える、アラームを設定する。ESP32-S3と画像対応のAIモデルをつなぎ、言葉でiPhoneの操作を指示できます。脱獄は不要です。
初回の導入にはMacとXcodeが必要です。導入後はiPhoneとボードだけで実行できます。
約7米ドルボード単体の参考価格。モデル利用料は別途
iOS 18以降USB-C接続。Lightningはアダプタが必要
画像対応APIOpenAI互換のモデルを使用
画面を見て、iPhoneを操作する仕組み
ボードが画面を受信し、マウスとキーボードの入力を送ります。iPhoneアプリがモデルを呼び出し、次の操作を決めます。
02
次の操作を決める
アプリがスクリーンショットを視覚モデルに送信。プランナーとアクターが、指示を具体的な操作に変えます。
03
iPhoneを操作する
ボードはUSBマウスとキーボードとして動作。AssistiveTouchを通じてタップ、スワイプ、文字入力を行います。
繰り返しアラームの設定を見てみる
時刻と曜日を指定すると、エージェントが時計アプリを開いてアラームを編集します。実行後は履歴から各操作を確認できます。
デモの詳細とタスク例を見る“毎週月曜と火曜、午前8時に鳴るアラームを設定して保存して。”
3つの手順で導入する
最初から順に進めることも、必要な手順だけ確認することもできます。
用途に合うか、制限を確認する
現在は縦向きのアプリとASCII文字の入力に対応しています。実行中はロック解除が必要です。パスコード、Apple Pay、保護された動画などの画面は認識できません。
動作条件と制限を見るよくある質問
Macは必要ですか？
初回の導入には必要です。現在の手順ではMacでボードに書き込み、XcodeでiPhoneアプリをビルドします。導入後は、iPhoneとボードだけで実行できます。
7ドルですべて揃いますか？
いいえ。7ドルは動作確認に使用したESP32-S3ボードの参考価格です。iPhone、初回導入用のMac、視覚モデルのAPIも必要です。アダプタ、モバイル通信、モデル利用料が別途かかる場合があります。
iPhoneの脱獄は必要ですか？
不要です。AirPlayによる画面ミラーリングと、AssistiveTouchを介した標準USBマウス・キーボード入力を使用します。
完全にオフラインで動作しますか？
現在の構成では、ミラーリングにボードのWi-Fiアクセスポイントを使い、モデルへの接続にはモバイル通信を使います。自前のモデルでも、iPhoneからアクセスできるAPIが必要です。
機材が揃ったら、導入を始めましょう
ファームウェアの書き込みから最初のタスクの確認まで、ガイドに沿って進められます。