文档总览
硬件要求与兼容性
购买前先确认开发板、手机、网络和首次安装条件。
这里需要的是 ESP32-S3,不能只看商品名称里有没有「ESP32」。原生 USB 负责鼠标和键盘输入,PSRAM 则用于视频传输相关缓冲。
项目测试的配置
| 部件 | 要求 |
|---|---|
| 开发板 | 普通版 Seeed Studio XIAO ESP32S3,8 MB PSRAM;不是 Sense 或 Plus |
| 手机 | iPhone,iOS 18 或更新版本 |
| USB-C 机型 | 数据线连接到板子的原生 USB 接口 |
| Lightning 机型 | Lightning 转 USB 相机转换器,以及合适的数据连接 |
| 网络 | 板子热点负责投屏,蜂窝数据负责模型请求 |
| 首次安装 | Mac、Xcode、arduino-cli 和 Apple ID |
| 模型 | 支持图片输入的 OpenAI 兼容 Chat API |
开发板由 iPhone 供电。约 7 美元只是板子的参考价,不是全部搭建成本;转换器、模型调用和数据流量可能需要另外付费。板型细节可参考厂商文档。
其他 ESP32-S3 能否替代
上游 README 认为带原生 USB 和 PSRAM 的其他 ESP32-S3 也应能工作,但这不是逐一实测的兼容清单。
换板前,确认 USB 口连到 S3 的原生 USB 外设,而非只有 USB 转串口芯片。还要核对 Flash 容量和 PSRAM 类型:当前脚本按 8 MB Flash、OPI PSRAM 编译,其他板型可能需要调整参数。
不要把 ESP32、ESP32-C3 或不带 PSRAM 的板子当作直接替代品。如果希望先顺利跑通,建议从项目已测试的板型开始。
Wi-Fi 与模型服务
iPhone 要加入板子自己的 Wi-Fi 热点才能投屏。这个热点不提供外网,当前模型请求走蜂窝数据,包括访问你自己部署的服务。
只在家中局域网可访问的模型地址,连接板子后未必还能访问。请先确认手机在实际网络条件下能够连接模型服务。
Mac 与签名要求
当前安装步骤需要 Mac 刷写固件,并通过 Xcode 安装 App。免费 Apple ID 可以签名,七天后需要重新签名。
一键加入热点需要可选的 Hotspot Configuration 权限和付费开发者账号;没有这项权限,也可以按照 App 显示的密码手动加入。
当前使用边界
- 只支持竖屏。 横屏坐标与校准仍在路线图中。
- 键盘只支持 ASCII。 还不能直接输入中文或日文。
- 运行时保持解锁。 锁屏会中断屏幕镜像。
- 部分画面不可见。 密码输入、Apple Pay 和 DRM 视频等内容不能通过镜像获取。
- 操作需要等待。 镜像分辨率与帧率有限,模型推理也会增加每一步的耗时,不能按高帧率远程桌面来理解。
- 目前按自行编译安装使用。 App 使用了私有
suspendAPI,不应据此假定已有 App Store 版本或通过了上架审核。
条件确认后,继续完整搭建流程。