ESP32 Agent
ESP32 iPhone Agent 如何工作
ESP32 iPhone Agent 是 Manina AI 背后的开源项目。一块 Seeed Studio XIAO ESP32-S3 板子插到真实的 iPhone 上,AI 就能看见屏幕,并点按、滑动和输入。无需越狱。iPhone App 和屏幕镜像接收端显示的名称是 ESP32 Agent。源代码在 GitHub,采用 MIT 许可,固件中的 AirPlay 接收器除外(GPL-3.0)。
AirPlay 接收端,加上 USB 键盘和鼠标
ESP32-S3 同时做这两件事。它开启自己的 Wi-Fi 热点,出现在 iPhone 的「屏幕镜像」列表里,名称是 ESP32 Agent。手机通过 AirPlay 镜像。板子保留 H.264 码流,不在板子上解码,再通过自己的 Wi-Fi(TCP)转发给 ESP32 Agent App。低功耗蓝牙传送命令和状态;Wi-Fi 通道不可用时,画面也会改走蓝牙。插在手机 USB 口上时,同一块板子是标准的 USB HID 鼠标和键盘。动作经蓝牙传回板子,由板子通过 USB 执行。
打开「辅助触控」后,点击就是轻点,拖动就是滑动。板子的热点没有外网。iPhone 连着它时,调用模型走蜂窝数据。
谁来决定下一步
可以用同一台 iPhone 上的 ESP32 Agent App,也可以用 Manina AI CLI 接入电脑上的 Agent。两者都会看屏幕,再决定下一次点按、滑动或按键。App 解码画面,并可以把截图发给兼容 OpenAI 接口的视觉模型。它可以在后台继续工作,灵动岛会显示它正在做什么。每做完一个动作,它会再看一次屏幕。
Manina AI CLI 是另一条路径。电脑上的 Agent 通过蓝牙连接同一块板子,命令和画面都走蓝牙,先要一张截图,再发送点按、滑动和输入。设置和目前公开的内容见 CLI 与 AI Agent。
你需要什么
- Seeed Studio XIAO ESP32S3,标准版,8 MB 闪存、8 MB PSRAM,不是 Sense 或 Plus,并接好随附的 Wi-Fi/蓝牙天线。大约 40 元。网站上的浏览器安装器支持这块板子。
- iPhone XS 或更新机型,iOS 18 或更高版本,并有蜂窝数据。USB-C 机型直接连接。Lightning 机型需要 Lightning 转 USB 相机转换器。板子由手机供电。
- 一根短的 USB-C 数据线(约 30 厘米)。只能充电的线不行。