10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

3个开源AI基础设施工具:模型网关OmniRoute、密钥隔离OneCLI、预算控制llm-budget-cap

3月前 AI开源项目 632 0

最近 AI Agent 越来越火,但在项目中使用仍面临三个痛点:模型 API 各家格式不同、密钥不敢随便给 agent、调用费用一不小心就爆表。最近 GitHub 上冒出了三个开源基础设施工具,正好对应这三个问题。

图片 1

OmniRoute:一个端点接 500+ 模型

写代码离不开 Claude、GPT、DeepSeek、Kimi 换着用。每家 API 格式不同,Cursor 配一个、Claude Code 配一个,密钥散落各处。OmniRoute 是一个本地 AI 网关,安装后工具统一指向 http://localhost:20128/v1,它背后对接了 290 多家提供商、500 多个模型,Claude Code、Codex、Cursor、Cline 都能直接连。

最有用的是自动降级:先走 Claude Pro 订阅配额,用完自动切 API Key,再切便宜模型,最后走免费模型。不用手动改配置,代码不会突然断掉。

内置 RTK + Caveman 的 Token 压缩,官方称能省 15% 到 95% 的 Token。支持 MCP 和 A2A 协议,路由策略有 priority、round-robin、least-used、cost-optimized 等十几种。有 npm 包和 Docker 镜像,本地跑起来后打开 http://localhost:20128 即可查看仪表盘。MIT 协议,完全免费,密钥存在自己机器上。

图片 2

OneCLI:给 AI Agent 发"门禁卡"

之前 Meta 的 AI 安全负责人把邮箱权限给了 OpenClaw,结果 agent 批量删除了邮件。问题根源是密钥和权限没有隔离。

OneCLI 是一个开源凭证网关,放在 agent 和外部 API 中间。把真实密钥存进 OneCLI 加密仓库,给 agent 一个占位符密钥。agent 发请求时,OneCLI 在网络层自动替换为真密钥,agent 从头到尾看不到真实密钥。

图片 3

它还能做策略控制:哪些接口能调、哪些路径禁止、每个 agent 每分钟调用次数限制,甚至哪些操作需人工审批,都在网关层强制执行。规则不是写在 prompt 里靠 agent"自觉",而是代理层面直接拦截。

部署简单,一条 docker run 就起来,带 Web 管理面板。支持 Cursor、n8n、Dify、OpenHands 等主流工具。团队多 agent 运行时比写进环境变量安全得多,离职换密钥时改一处即可。

llm-budget-cap:防止 AI 账单失控

用 LLM API 最怕半夜死循环把额度烧光。自己写计数器,并发上来还有竞态条件。

llm-budget-cap 把 INCR 和 PEXPIRE 封进同一个 Redis Lua 脚本原子执行,从根本上避免竞态。用法简单:

const cap = new BudgetCap({
  redis,
  key: "gemini:daily",
  limit: 500,
});
const decision = await cap.checkAndIncrement();
if (!decision.allowed) {
  return res.status(429).json({ error: "Daily AI budget exhausted." });
}

图片 4

可按用户、租户、IP 分别设上限,窗口自定义。Redis 挂了默认放行或配置为故障关闭。零第三方依赖,MIT 协议。整个库就一个类、一个方法,代码短小好排查。作者已在生产环境使用三次,现抽成独立包。

这三个工具分别解决模型接入、密钥安全和费用控制,正好是把 AI Agent 放进生产环境绕不开的三个环节。开源、免费、能本地跑,值得先 Star 起来,遇到对应问题时再翻出来用。

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:3个开源AI基础设施工具:模型网关OmniRoute、密钥隔离OneCLI、预算控制llm-budget-cap
#AI工具 #开源 #OmniRoute #OneCLI #Agent安全 
收藏 1
OmniRoute:免费 AI 网关,聚合 250+ 服务商,每月 16 亿免费 Token
3个免费模型API推荐:Laguna S 2.1编程、Ling-3.0-flash工具调用、Qwen3-Embedding向量检索
推荐阅读
  • video-shotcraft:让 Agent 制作电影感产品视频的 Skill,106 张镜头配方卡
  • OpenClaw 社区 6 个创意 Skills:前女友数字分身、老板 PUA 检测、反蒸馏防御
  • anything2explainer:2小时生成科普MG讲解视频,代码渲染确定性视频全流水线
  • OpenDataLoader PDF 开源项目:PDF 解析精度 0.90 领先同类,支持本地/Hybrid 双模式
  • VoidNovelEngine - 无代码节点编辑的开源视觉小说引擎
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
13084 1年前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
11076 1年前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
10952 10月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
9865 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9643 10月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
9168 1年前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
9130 1年前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8562 8月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8508 6月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
8241 9月前

文章目录

关于苏米客
分类排行
1 digital-human-koubo:一张照片+一段文案自动生成数字人口播视频
2 5 个 GitHub 开源项目:在 Mac 和手机上玩 Switch 游戏
3 Ghidra 逆向工程框架:NSA 开源的反编译与协作分析工具
4 Hi3D V1.0 开源:最高 1536³ 分辨率 AI 3D 建模,切片成功率 90%
5 GitHub5个神级开源项目合集:PS5模拟器/苹果Switch模拟器/手绘风格/CAD建模/交互图解
6 wxa-runner:在浏览器中用微信官方基础库运行小程序,支持 Playwright E2E 测试
7 awesome-short-drama-skills:83个AI短剧Skill精选库,两轮实测筛选最佳组合
8 REA+Reverse-skill+PentAGI三件套:用Codex逆向分析并复刻任何软件的完整工作流
9 SolidCraft:开源参数化3D CAD建模工具,支持浏览器运行+MCP接口+自动重算
10 anything2explainer:2小时生成科普MG讲解视频,代码渲染确定性视频全流水线
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
拉美跨境导航 微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联