このプロジェクトが行うこと
現行C3 Agentでは画面取得、文脈管理、モデル通信をiPhoneアプリで実行します。Open-AutoGLMの動作ループを移植し、別の視覚モデルでポインタ位置と結果を確認します。
制限と検証範囲
ポインタ位置の認識失敗が残り、安定した完全タスクの検証は未達と作者が記載しています。C3はネイティブUSB HID非対応で、旧AirPlay / Python構成はlegacyタグです。
確認した出典
確認したREADMEb2ad856ネイティブアプリ画面操作エージェント
C3 Agent
iPhone内のAutoGLM系タスクループとESP32-C3のBluetooth入力を組み合わせる実験。
- 機材
- ESP32-C3。USBは電源と書き込み用
- 実行場所
- ネイティブiPhoneアプリ
- 画面・音声の観測
- ユーザー許可によるScreenCaptureKit共有
- 入力経路
- Bluetooth HIDマウスとキーボード
- 導入条件
- iOS 27+、Xcode 27+、署名、ESP-IDF 6.0.1
- ライセンス情報
- MIT; Open-AutoGLM components Apache-2.0