ドキュメント一覧
視覚モデルを設定する
画像を受け取れるモデルを選び、実行前に接続を確認。
ESP32 Agentは、設定したモデルAPIにスクリーンショットを送信します。OpenAI互換のChat APIで画像を受け取れるモデルが必要です。プロバイダーのプリセットやモデル一覧にあるだけで、画像に対応しているとは限りません。
接続先を設定する
一致するプロバイダーのプリセットを選ぶか、Othersで独自のBase URLを入力します。自分のAPIキーと、利用権限のある正確なモデルIDを設定してください。
Base URLはAPIのルートです。たとえばドキュメント上のリクエスト先がhttps://your-model.example/v1/chat/completionsなら、通常はhttps://your-model.example/v1を指定します。この例は実際のサービスではないため、利用先の仕様を確認してください。
あるプロバイダーのキーを別のホストに送らないよう注意します。キーはiPhoneのKeychainに保存されますが、画像を送る前に接続先も確認してください。
画像対応を確認する
次の3点を確認します。
- チャットリクエストの画像入力に対応している。
- 設定したモデルIDを自分のアカウントで利用できる。
- アプリが使う画像リクエスト形式をサーバーが受け付ける。
アプリはモデル一覧の取得とIDの編集に対応し、プランナーとアクターに別々のモデルも指定できます。初回はひとつの画像対応モデルで動作を確認し、その後ひとつずつ設定を変えると比較しやすくなります。
アプリからテストする
設定を変更したら接続テストをやり直します。現在のテストは生成した色付き画像を送信します。成功はそのリクエストの確認であり、すべてのタスクでの安定動作を保証するものではありません。
- 認証エラー：ホスト、キー、権限、利用先の課金状態を確認。
- モデルが見つからない：正確なIDとアクセス権を確認。
- 画像が拒否される：画像入力とAPI形式の対応を確認。
- タイムアウト：モバイル通信とAPIへの到達性を確認。
自分でホストする場合
vLLM、SGLang、llama.cpp、Ollamaなどの互換APIも利用できますが、読み込んだモデルとサーバーが必要な画像形式に対応していることが条件です。
Wi-Fiはボードに使用し、モデルへの接続はモバイル通信を使います。LAN内のアドレスに自動的に到達できるわけではなく、iPhoneのlocalhostもパソコンを指しません。適切なアクセス制御を設けた、iPhoneから到達可能なAPIを準備してください。
データと利用料
画面と指示文は選んだAPIに送信され、そのサービスのプライバシー・保持条件が適用されます。自前のモデルであることと、完全オフラインであることは別です。
モデル利用料は機材費とは別です。ここでは特定モデルの優劣や速度、成功率を保証しません。簡単で繰り返せるタスクを使い、実行記録を見ながら比較してください。
プロンプトを変える
プランナーとアクターのプロンプトはリポジトリのprompts/にあり、アプリに同梱されます。変更後に再ビルドすると反映されます。比較時はモデルとプロンプトの構成も記録しましょう。