ブラウザ画面操作エージェント

iPhone Agent Harness

Safariでエージェントを動かし、WebRTC経由でESP32のBluetooth入力へ接続。

このプロジェクトが行うこと

画面取得とモデルとの通信はSafariで行います。ブラウザが計画を確認し、ローカルWebRTCで基板へ指示します。長い文章にはAppleショートカットのクリップボード経路を使えます。

制限と検証範囲

対応基板とOS条件は作者の説明です。当サイトでは各機種を検証していません。ブラウザ内保存でも、画面や文脈はモデルAPIや任意の中継へ送られる場合があります。

確認した出典

確認したREADME41c42d5
機材
ESP32 C2・C3・C5・C6・S3・classic。基板ごとに条件あり
実行場所
iPhone / iPadのSafari
画面・音声の観測
ブラウザの画面共有
入力経路
WebRTCブリッジ経由のBluetooth入力
導入条件
iOS / iPadOS 27+。初回書き込みはデスクトップChrome / Edge
ライセンス情報
MIT