10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

OlliteRT:把 Android 手机变成 OpenAI 兼容的本地大模型服务器

10分钟前 AI开源项目 0 0

想在自己的设备上运行大模型,很多人首先想到的是一台配置不错的电脑:下载模型、配置环境、安装推理框架,再折腾接口和客户端。有没有更轻量的方式?如果手边有一台性能尚可的 Android 手机,或许可以换个思路:让手机本身运行模型,再通过标准 API 为电脑、网页应用和其他客户端提供服务。这就是开源项目 OlliteRT 正在做的事。

把手机变成一个本地大模型服务

OlliteRT 是一款 Android 应用,可以在手机上运行支持的语言模型,并把手机变成一个兼容 OpenAI API 的推理服务器。简单来说,手机负责运行模型,其他设备通过局域网访问手机提供的接口。只要客户端支持相应的 API,就可以把 OlliteRT 配置成模型服务端。

上手流程比较直接:下载并安装 APK;在应用中下载或导入支持的模型;点击模型卡片上的启动按钮,开启服务器;在客户端中填写状态页面显示的服务地址。例如,服务地址可能是:http://手机的局域网IP:8000/v1

图片 2

图片 3

随后就可以尝试连接 Open WebUI、Python 程序、curl 等兼容客户端。局域网中的电脑和手机需要能够互相访问。如果你已经有熟悉的 OpenAI 兼容客户端,通常不必为 OlliteRT 重写整套调用逻辑,只需要把 API 地址指向手机即可。

它不只是一个"模型启动按钮"

管理模型:支持从 Hugging Face 下载模型、导入本地 .litertlm 文件,也支持通过 JSON 文件或 URL 添加自定义模型源。

使用多模态能力:对于支持的模型,可使用视觉、音频、思考过程、流式输出等能力;工具调用目前属于实验性功能。

观察推理状态:提供请求与响应日志、搜索和过滤,以及模型和服务的状态监控。

调整运行方式:可以配置模型推理参数、CPU/GPU 加速方式、空闲时卸载模型、服务监听范围和客户端 IP 访问规则。

连接其他工具:提供 OpenAI 兼容接口,并包含 Prometheus 指标和 Home Assistant REST API 等集成能力。这让手机不只是一个单机聊天工具,也可以成为家庭网络或开发环境中的一个小型推理节点。

哪些场景值得尝试

个人本地实验:想了解端侧模型的运行方式,或者测试不同小模型在自己设备上的表现,可以直接在手机上体验。

连接现有 AI 客户端:已经在使用 Open WebUI 或自写 Python 工具的开发者,可以尝试把模型服务放到 Android 设备上。

家庭自动化探索:OlliteRT 提供 Home Assistant 相关接口,可以作为本地 AI 和家庭自动化集成实验的一部分。

利用闲置设备:一台不常用的手机也许可以承担测试、演示或轻量服务的角色。不过长时间运行模型会带来发热、耗电和电池老化等问题,设备状态需要留意。

了解它的边界

手机运行大模型不代表它能取代高性能 GPU 服务器。OlliteRT 要求 Android 12 及以上、arm64-v8a 架构,至少 6 GB RAM;多模态模型建议使用 8 GB 或更多内存。还有几个限制需要注意:当前只支持 .litertlm 格式,不支持 GGUF;一次只能加载一个模型,请求按顺序处理;工具调用处于实验阶段。

管好访问权限

OlliteRT 提供了 Bearer Token 认证、客户端 IP 访问规则和监听范围等配置项。建议只在可信网络中开放服务,并按需设置访问控制;不要把未受保护的接口直接暴露到公网。

图片 4

手机不只是 AI 的使用终端

过去,我们习惯把手机看作调用云服务的客户端:输入问题,数据发往远端,结果再返回屏幕。OlliteRT 展示了另一种可能:手机也可以运行模型、提供接口,成为 AI 系统中的一个服务节点。

图片 5

如果你对端侧大模型、Android 推理或本地 AI 服务感兴趣,可以到 GitHub 查看 OlliteRT 的源码、安装方式和最新模型支持情况。

Github:https://github.com/NightMean/OlliteRT

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:OlliteRT:把 Android 手机变成 OpenAI 兼容的本地大模型服务器
#OlliteRT #Ollama #Android #本地大模型 #端侧AI #开源项目 
收藏 1
7 款国产大模型横评:豆包、DeepSeek、Kimi 谁更强?编码写作实测对比
Antigravity 满血配置指南:12 个提示词让 Gemini 4 追平 Claude,成本减半
推荐阅读
  • mg-styles-15开源项目:Claude Opus 5.5写代码生成15种MG动画风格,3.2K Star
  • 腾讯开源BrowserSkill:让AI Agent借用已登录浏览器标签页,2天4K Star
  • Tigris开源项目:983KB安卓电视桌面,复刻Apple TV液态玻璃风格
  • Beads 开源项目详解:给 AI Agent 装上「项目经理大脑」,22.4K Star 的分布式任务追踪系统
  • 公众号封面设计方法论:从200+账号总结出4种封面套路
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
13504 1年前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
11367 11月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
11324 1年前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
10311 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9967 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
9552 1年前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
9403 1年前
AiNiee:开源AI翻译工具,完美解决游戏、小说、字幕、文档的批量翻译
8879 1年前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8800 7月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8796 9月前

文章目录

关于苏米客
分类排行
1 OlliteRT:把 Android 手机变成 OpenAI 兼容的本地大模型服务器
2 yichen-skills:16 个开源 Skill + 1 个插件,打通 AI 编程全工作流
3 腾讯朱雀 A.I.G:开源 AI 红队平台,一站式安全自查与合规评测
4 Chrome 团队开源 Modern Web Guidance:给 AI Agent 装上现代 Web 开发大脑
5 DramaClaw开源发布:企业级AI漫剧工业化生产线,无限画布+自动化流水线
6 OpenMotion开源发布:用HTML代码写视频,OpenDesign团队开源版Claude Motion
7 Coolify:自托管 360+ 服务,如何用 20 美元 VPS 替代 Vercel 账单
8 GIF 工厂开源项目:Codex 技能让表情包、签名、海报全动起来
9 GitHub 开源车机项目:DiPlay、xcertplay、LIVI 让你轻松接入 CarPlay
10 Orca 开源工具:统一管理 40+ AI 编程 Agent,支持手机和桌面端
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
拉美跨境导航 微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联