想在自己的设备上运行大模型,很多人首先想到的是一台配置不错的电脑:下载模型、配置环境、安装推理框架,再折腾接口和客户端。有没有更轻量的方式?如果手边有一台性能尚可的 Android 手机,或许可以换个思路:让手机本身运行模型,再通过标准 API 为电脑、网页应用和其他客户端提供服务。这就是开源项目 OlliteRT 正在做的事。
把手机变成一个本地大模型服务
OlliteRT 是一款 Android 应用,可以在手机上运行支持的语言模型,并把手机变成一个兼容 OpenAI API 的推理服务器。简单来说,手机负责运行模型,其他设备通过局域网访问手机提供的接口。只要客户端支持相应的 API,就可以把 OlliteRT 配置成模型服务端。
上手流程比较直接:下载并安装 APK;在应用中下载或导入支持的模型;点击模型卡片上的启动按钮,开启服务器;在客户端中填写状态页面显示的服务地址。例如,服务地址可能是:http://手机的局域网IP:8000/v1


随后就可以尝试连接 Open WebUI、Python 程序、curl 等兼容客户端。局域网中的电脑和手机需要能够互相访问。如果你已经有熟悉的 OpenAI 兼容客户端,通常不必为 OlliteRT 重写整套调用逻辑,只需要把 API 地址指向手机即可。
它不只是一个"模型启动按钮"
管理模型:支持从 Hugging Face 下载模型、导入本地 .litertlm 文件,也支持通过 JSON 文件或 URL 添加自定义模型源。
使用多模态能力:对于支持的模型,可使用视觉、音频、思考过程、流式输出等能力;工具调用目前属于实验性功能。
观察推理状态:提供请求与响应日志、搜索和过滤,以及模型和服务的状态监控。
调整运行方式:可以配置模型推理参数、CPU/GPU 加速方式、空闲时卸载模型、服务监听范围和客户端 IP 访问规则。
连接其他工具:提供 OpenAI 兼容接口,并包含 Prometheus 指标和 Home Assistant REST API 等集成能力。这让手机不只是一个单机聊天工具,也可以成为家庭网络或开发环境中的一个小型推理节点。
哪些场景值得尝试
个人本地实验:想了解端侧模型的运行方式,或者测试不同小模型在自己设备上的表现,可以直接在手机上体验。
连接现有 AI 客户端:已经在使用 Open WebUI 或自写 Python 工具的开发者,可以尝试把模型服务放到 Android 设备上。
家庭自动化探索:OlliteRT 提供 Home Assistant 相关接口,可以作为本地 AI 和家庭自动化集成实验的一部分。
利用闲置设备:一台不常用的手机也许可以承担测试、演示或轻量服务的角色。不过长时间运行模型会带来发热、耗电和电池老化等问题,设备状态需要留意。
了解它的边界
手机运行大模型不代表它能取代高性能 GPU 服务器。OlliteRT 要求 Android 12 及以上、arm64-v8a 架构,至少 6 GB RAM;多模态模型建议使用 8 GB 或更多内存。还有几个限制需要注意:当前只支持 .litertlm 格式,不支持 GGUF;一次只能加载一个模型,请求按顺序处理;工具调用处于实验阶段。
管好访问权限
OlliteRT 提供了 Bearer Token 认证、客户端 IP 访问规则和监听范围等配置项。建议只在可信网络中开放服务,并按需设置访问控制;不要把未受保护的接口直接暴露到公网。

手机不只是 AI 的使用终端
过去,我们习惯把手机看作调用云服务的客户端:输入问题,数据发往远端,结果再返回屏幕。OlliteRT 展示了另一种可能:手机也可以运行模型、提供接口,成为 AI 系统中的一个服务节点。

如果你对端侧大模型、Android 推理或本地 AI 服务感兴趣,可以到 GitHub 查看 OlliteRT 的源码、安装方式和最新模型支持情况。