ESP32 是一块小开发板,但它能做的事远超想象。最近有人用它接上 iPhone,让 AI 直接操控真实手机——不需要电脑、不用越狱,成本只要 40 多块钱。

功能特性
- 自动操作手机:告诉它「设个周一早上八点的闹钟」,它会自己退出 App、打开时钟、滚轮调时间、勾日期、点保存
- 看屏幕做决策:通过 AirPlay 镜像拿到实时画面,传给视觉模型分析当前该点哪儿
- 模拟真人操作:板子伪装成 USB 鼠标键盘,配合 iOS 辅助触控的指针,点击、滑动、拖拽都能做
- 后台静默跑:App 缩到后台,灵动岛显示进度,随时能叫停
- 任务可回放:每次操作录下来,能逐帧看 AI 当时怎么想的、点哪儿了
怎么用
硬件就三样:ESP32-S3 板子(推荐 Seeed XIAO ESP32S3,淘宝四五十)、iOS 18 以上的 iPhone、一个视觉模型的 API key。有台 Mac 装 Xcode,但只用来刷机和编译 App,之后操作全在手机上。
工作原理
iPhone 把屏幕通过 AirPlay 镜像到板子,视觉模型(如 Claude/GPT-4o)分析画面后生成操作指令,ESP32 再伪装成 USB HID 设备模拟鼠标键盘操作手机。整个过程完全在本机运行,数据不经过云端。
总结
这个项目的核心价值在于:用极低的硬件成本实现了「AI 操控真实手机」的能力,而且不需要越狱、不依赖电脑后台。对于需要自动化操作 iPhone 的场景(如测试、演示、辅助操作),这是一个非常有趣的开源方案。
声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。