このプロジェクトが行うこと
iOSの画面共有アプリ、MacのMCPサーバー、classic ESP32を組み合わせます。画面制御部分はipad_computer_useに由来し、通話ツールも提供します。
元のプロジェクト: ipad_computer_use
制限と検証範囲
操作と通話には別のファームウェアが必要で、記載基板での同時利用は未対応です。Macなしで動くアプリは現在の機能ではなく計画です。
確認した出典
確認したREADME870fa04PC側で実行画面操作エージェント派生プロジェクト
Oh My Phone Use
MacのMCPからiPhoneを操作し、別ファームウェアでBluetooth通話も試す構成。
- 機材
- Classic Bluetooth対応のESP32-PICO-KIT-1
- 実行場所
- MacのMCPサーバーとiOSアプリ
- 画面・音声の観測
- ReplayKitの画面共有アプリ
- 入力経路
- 操作はBLE HID、通話はHFP
- 導入条件
- iOS / iPadOS 17+をターゲット。Xcode、署名、ESP-IDF 6.1、Python、Node
- ライセンス情報
- MIT