文档总览

硬件要求与兼容性

购买前先确认开发板、手机、网络和首次安装条件。

这里需要的是 ESP32-S3,不能只看商品名称里有没有「ESP32」。原生 USB 负责鼠标和键盘输入,PSRAM 则用于视频传输相关缓冲。

项目测试的配置

部件要求
开发板普通版 Seeed Studio XIAO ESP32S3,8 MB PSRAM;不是 Sense 或 Plus
手机iPhone,iOS 18 或更新版本
USB-C 机型数据线连接到板子的原生 USB 接口
Lightning 机型Lightning 转 USB 相机转换器,以及合适的数据连接
网络板子热点负责投屏,蜂窝数据负责模型请求
首次安装Mac、Xcode、arduino-cli 和 Apple ID
模型支持图片输入的 OpenAI 兼容 Chat API

开发板由 iPhone 供电。约 7 美元只是板子的参考价,不是全部搭建成本;转换器、模型调用和数据流量可能需要另外付费。板型细节可参考厂商文档。

其他 ESP32-S3 能否替代

上游 README 认为带原生 USB 和 PSRAM 的其他 ESP32-S3 也应能工作,但这不是逐一实测的兼容清单。

换板前,确认 USB 口连到 S3 的原生 USB 外设,而非只有 USB 转串口芯片。还要核对 Flash 容量和 PSRAM 类型:当前脚本按 8 MB Flash、OPI PSRAM 编译,其他板型可能需要调整参数。

不要把 ESP32、ESP32-C3 或不带 PSRAM 的板子当作直接替代品。如果希望先顺利跑通,建议从项目已测试的板型开始。

Wi-Fi 与模型服务

iPhone 要加入板子自己的 Wi-Fi 热点才能投屏。这个热点不提供外网,当前模型请求走蜂窝数据,包括访问你自己部署的服务。

只在家中局域网可访问的模型地址,连接板子后未必还能访问。请先确认手机在实际网络条件下能够连接模型服务。

Mac 与签名要求

当前安装步骤需要 Mac 刷写固件,并通过 Xcode 安装 App。免费 Apple ID 可以签名,七天后需要重新签名。

一键加入热点需要可选的 Hotspot Configuration 权限和付费开发者账号;没有这项权限,也可以按照 App 显示的密码手动加入。

当前使用边界

  • 只支持竖屏。 横屏坐标与校准仍在路线图中。
  • 键盘只支持 ASCII。 还不能直接输入中文或日文。
  • 运行时保持解锁。 锁屏会中断屏幕镜像。
  • 部分画面不可见。 密码输入、Apple Pay 和 DRM 视频等内容不能通过镜像获取。
  • 操作需要等待。 镜像分辨率与帧率有限,模型推理也会增加每一步的耗时,不能按高帧率远程桌面来理解。
  • 目前按自行编译安装使用。 App 使用了私有 suspend API,不应据此假定已有 App Store 版本或通过了上架审核。

条件确认后,继续完整搭建流程。

项目来源

README.md