#OlliteRT

OlliteRT:把 Android 手机变成 OpenAI 兼容的本地大模型服务器
想在自己的设备上运行大模型,很多人首先想到的是一台配置不错的电脑:下载模型、配置环境、安装推理框架,再折腾接口和客户端。有没有更轻量的方式?如果手边有一台性能尚可的 Android 手机,或许可以换个思路:让手机本身运行模型,再通过标准 A…