跳转到内容

AI iPhone Agent 常见问题

使用 App:不用。电脑只在第一次通过浏览器安装板子固件时用到,之后由 App 和板子一起完成任务。

使用 CLI:需要。Agent 在电脑上运行,通过蓝牙连接板子。演示、设置与发布状态见 CLI 与 AI Agent。

App Store 版本正在审核中,现在可以先通过 TestFlight 参加公测。开始使用里有加入公测、安装和首次设置的完整步骤。

没有自己的 AI 服务,也能先试吗?

Section titled “没有自己的 AI 服务,也能先试吗?”

可以。App 内目前有免费的 AI 服务可用,可以先从这里开始。你也可以接入自己的、支持图片且兼容 OpenAI 接口的服务;只有自行配置服务时才需要填写 API 密钥。

未来我们会提供可订阅的 AI 服务,让你更方便地直接体验。不同服务如何处理截图和任务,见隐私政策。

可以。在 App 或灵动岛里暂停或停止即可。任务需要你帮忙时,App 可以发来通知;长按后可以继续、跳过、停止或接管。

希望在敏感步骤前先确认,打开设置 → 记录 → 先问我,选择只在付款时(默认)、付款、发送、删除或从不。见意图与录制。

iPhone 连上板子的 Wi-Fi,才能把屏幕镜像传过去。这个 Wi-Fi 没有外网,App 会通过蜂窝数据连接你选择的 AI 服务。屏幕镜像留在本地连接中,不走蜂窝;模型请求才使用蜂窝数据。运行任务时请保持蜂窝数据可用。

iPhone 一直连着家里的 Wi-Fi,找不到板子热点

Section titled “iPhone 一直连着家里的 Wi-Fi,找不到板子热点”

板子很可能处于 station 模式:它加入已有的网络,而不是开启自己的热点。重启和更新后它都会记住这个模式。切回方法见 iPhone 连到家里 Wi-Fi 而不是 ESP32 Agent 热点怎么办。

蓝牙配对失败,或者必须贴近手机才连得上

Section titled “蓝牙配对失败,或者必须贴近手机才连得上”

检查随附的 Wi-Fi/蓝牙天线是否接到了板子上。没有天线时,蓝牙可能无法连接,或只有板子紧贴手机才可用。先接好天线,让板子靠近 iPhone,再试一次 Plug Me In。

天线接口的位置,见先接好天线。

可以在 ESP32 Agent App 里查看,或通过板子的 USB 串口读取:

  1. 把已安装固件的板子用 USB 接到电脑,打开板子正常运行时的串口,波特率设为 115200。如果没有出现串口,请改在 App 里查看密码。
  2. 发送一行 0 netinfo,以换行结束。
  3. 确认 mode 是 ap,使用 ssid 和 pass 在 iPhone 设置里加入板子热点。
  4. 读完把板子接回 iPhone,再开启屏幕镜像。普通重新插拔不会改变已保存的热点密码。

不要分享完整串口回复,其中还包含访问令牌。mode 是 sta 时,显示的是板子所加入网络的凭据,不能当作板子自己的热点信息。

Manina AI CLI 0.1.2 配合板子固件 v0.2.3 时,esp32agent net 会通过已配对的蓝牙连接显示热点名和密码。固件仍是 v0.2.2 时,请用 App 或上面的 USB 串口方法。

  1. 插上板子。使用 App 时,在 App 内完成蓝牙配对;使用 CLI 时,在电脑上运行 esp32agent pair。
  2. 让板子靠近手机并加入它的 Wi-Fi。CLI 用户先读取热点密码,再到设置 → 无线局域网连接;App 用户也可以跟随加入提示,或使用 App 显示的密码手动连接。
  3. 打开控制中心 → 屏幕镜像 → ESP32 Agent。
  4. 保持 iPhone 解锁。

ESP32 Agent 是屏幕镜像列表里的接收端名称。

加入板子 Wi-Fi 失败时,把板子紧贴手机后再试。板子热点的发射功率较低,这与蓝牙配对是两件事,见连接问题讨论。

预览卡住、任务一开始就报 err no video,或者反复执行同一动作、看起来很慢,这些在 Issue #25、#29 和 #44 中都有反馈。App 1.0 和板子固件 0.2.2 修复了已知原因:重新连接后画面会自动恢复,长时间停在同一画面之后也一样。

  1. 检查版本。App 版本在设置 → 关于,板子固件在设置 → 开发板。有更新就先更新,见固件更新。
  2. 重新连接镜像。停止任务,关闭屏幕镜像,再重新选择 ESP32 Agent。保持 iPhone 解锁,并连着板子的 Wi-Fi。
  3. 切换画面,确认预览跟着变化。
  4. 重试任务。

如果还是不行,在 Runs(记录)里打开这次运行,选择 ⋯ → Export trace;并在镜像开启时查看设置 → 诊断 → 视频。把两者连同版本号发到 [email protected]。

如果画面在动但非常慢,可能是 App 没有本地网络权限,画面改走了蓝牙,见画面很慢。

可以用 Mac 代替 iPhone 来屏幕镜像吗?

Section titled “可以用 Mac 代替 iPhone 来屏幕镜像吗?”

不可以。不支持从 macOS 屏幕镜像:握手看起来正常,但板子收不到视频。请从插着板子的那台 iPhone 发起镜像,见屏幕镜像没有画面。

打开设置 → 辅助功能 → 触控 → 辅助触控,保持指针可见、iPhone 竖屏。使用 App 时完成让我能动手这一步;使用 CLI 时运行 esp32agent calibrate,不需要进入 App 校准。

校准完成了,但误差一直在 ±5% 以上

Section titled “校准完成了,但误差一直在 ±5% 以上”

设置 → 校准里显示的百分比,是最后一次校验点击偏离目标的距离(占屏幕的比例)。±2% 以内是正常的。如果重新校准后仍然在 ±5% 以上,通常是辅助触控的设置导致的:

  1. 把「追踪灵敏度」调到中间。打开设置 → 辅助功能 → 触控 → 辅助触控 → 追踪灵敏度。滑块靠近最慢一端时,iOS 对快速移动的加速比慢速移动强得多,App 测到的几组数据对不上,点击就会偏。
  2. 关闭「指针动画」:在设置 → 辅助功能 → 指针控制里关闭。
  3. 校准后不要再改这些设置。追踪灵敏度决定指针移动的距离,改过之后要重新校准。
  4. 重新校准:设置 → 校准 → 校准。校准时保持 iPhone 竖屏、屏幕镜像开着,结束前不要碰屏幕。

如果误差还是很大,请发送诊断信息,并附上 iPhone 型号、iOS 版本、App 版本和板子固件版本。

先给一个明确的目标,例如「打开设置,进入无线局域网」。跑通后再试更长的任务。选择能理解图片、遵循指令的模型;每一步的速度也受模型响应和网络影响。

第一次运行时看着它。如果走偏了,停止后把目标写得更具体。你也可以在手机上回放,看看卡在了哪一步。

请保持手机解锁并使用竖屏,锁屏会停止屏幕镜像。iOS 不会镜像密码输入、Apple Pay 或受 DRM 保护的视频。输入中文时,先添加手机的拼音键盘:App 会自动在英文和拼音之间切换(ctrl+空格)。先用短句检查结果。通过 CLI 输入时,由 Agent 选择正确的候选词。CLI 自身的限制见 CLI 与 AI Agent。

插着板子时,手机还能充电吗?

Section titled “插着板子时,手机还能充电吗?”

USB-C iPhone 上,板子占用 USB 口并由手机供电,不能同时有线充电。如果你的机型不能无线充电,安排长时间任务前请先考虑电量,见充电问题讨论。

Lightning iPhone 上,使用 Lightning 转 USB 3 相机转换器并在它的 Lightning 口接上充电器,可以同时给板子和手机供电,见 Lightning iPhone。

在 App 里通过板子的 Wi-Fi 更新:设置 → 开发板。App Store 版和 TestFlight 版 App 各自使用自己的固件渠道。见更新 ESP32 Agent 固件。

在 App 里打开设置 → 关于 → 日志,使用把诊断信息发给开发者或导出全部日志。使用 CLI 时运行 esp32agent logs --save。网页安装器出错时点下载日志。把文件发到 [email protected]。详见调试与拉日志。

Manina AI 会把截图发给你选择的 AI 服务,用于判断下一步操作。隐私政策说明发送范围、存储方式和你的选择。你可以在手机上回放和导出运行记录;如果使用自己的 API 密钥,密钥保存在 iOS 钥匙串里。

使用 CLI 时,截图和历史记录保存在电脑上;电脑 Agent 可能把截图发送给它使用的模型服务。请查看 Agent 的权限和数据政策。手机 App 内的免费 AI 服务,不等于电脑 Agent 使用的模型服务。

现在能买到官方 Manina AI 设备吗?

Section titled “现在能买到官方 Manina AI 设备吗?”

还不能。开源项目用的是你自己买、自己刷的 Seeed Studio XIAO ESP32S3。Manina AI 设备是另一件插上就能用的东西。现在不卖,没有最终价格,也没有发货日期。加入 Manina AI 设备等候名单。早鸟可能会收到专属邀请码。加入不是下单,也不预留名额。