このプロジェクトが行うこと
Henry Yuanのプロジェクトから派生し、基板側AirPlayをユーザー許可によるScreenCaptureKit取得に、USB入力を別電源のESP32-S3によるBluetooth入力に置き換えます。Midscene 1.16.1はローカルWKWebViewで動き、Swiftがモデル通信と入力を担当します。画像は設定したモデルへ送信され、端末内取得でもオフラインとは限りません。保存するのは選択したステップのJPEGと記録で、連続動画ではありません。
元のプロジェクト: ESP32 iPhone Agent by Henry Yuan
制限と検証範囲
上流リリースではなくコミュニティforkです。作者は10月25日の世界時計タスクを記録していますが、互換性や安定性の調査ではなく、当サイトでも再検証していません。同じコミットの公開CI 40447079087では、ファームウェアとJSの検査は成功し、iOSシミュレーターテストのステップは失敗しました。縦向き・ASCII・iOSのバックグラウンド制約があり、移行にはforkのアプリとファームウェア両方の更新が必要です。上流AirPlayファームウェアとは混用できません。
確認した出典
確認したREADMEf1787f4