最近 AI Agent 越来越火,但在项目中使用仍面临三个痛点:模型 API 各家格式不同、密钥不敢随便给 agent、调用费用一不小心就爆表。最近 GitHub 上冒出了三个开源基础设施工具,正好对应这三个问题。

OmniRoute:一个端点接 500+ 模型
写代码离不开 Claude、GPT、DeepSeek、Kimi 换着用。每家 API 格式不同,Cursor 配一个、Claude Code 配一个,密钥散落各处。OmniRoute 是一个本地 AI 网关,安装后工具统一指向 http://localhost:20128/v1,它背后对接了 290 多家提供商、500 多个模型,Claude Code、Codex、Cursor、Cline 都能直接连。
最有用的是自动降级:先走 Claude Pro 订阅配额,用完自动切 API Key,再切便宜模型,最后走免费模型。不用手动改配置,代码不会突然断掉。
内置 RTK + Caveman 的 Token 压缩,官方称能省 15% 到 95% 的 Token。支持 MCP 和 A2A 协议,路由策略有 priority、round-robin、least-used、cost-optimized 等十几种。有 npm 包和 Docker 镜像,本地跑起来后打开 http://localhost:20128 即可查看仪表盘。MIT 协议,完全免费,密钥存在自己机器上。

OneCLI:给 AI Agent 发"门禁卡"
之前 Meta 的 AI 安全负责人把邮箱权限给了 OpenClaw,结果 agent 批量删除了邮件。问题根源是密钥和权限没有隔离。
OneCLI 是一个开源凭证网关,放在 agent 和外部 API 中间。把真实密钥存进 OneCLI 加密仓库,给 agent 一个占位符密钥。agent 发请求时,OneCLI 在网络层自动替换为真密钥,agent 从头到尾看不到真实密钥。

它还能做策略控制:哪些接口能调、哪些路径禁止、每个 agent 每分钟调用次数限制,甚至哪些操作需人工审批,都在网关层强制执行。规则不是写在 prompt 里靠 agent"自觉",而是代理层面直接拦截。
部署简单,一条 docker run 就起来,带 Web 管理面板。支持 Cursor、n8n、Dify、OpenHands 等主流工具。团队多 agent 运行时比写进环境变量安全得多,离职换密钥时改一处即可。
llm-budget-cap:防止 AI 账单失控
用 LLM API 最怕半夜死循环把额度烧光。自己写计数器,并发上来还有竞态条件。
llm-budget-cap 把 INCR 和 PEXPIRE 封进同一个 Redis Lua 脚本原子执行,从根本上避免竞态。用法简单:
const cap = new BudgetCap({
redis,
key: "gemini:daily",
limit: 500,
});
const decision = await cap.checkAndIncrement();
if (!decision.allowed) {
return res.status(429).json({ error: "Daily AI budget exhausted." });
}

可按用户、租户、IP 分别设上限,窗口自定义。Redis 挂了默认放行或配置为故障关闭。零第三方依赖,MIT 协议。整个库就一个类、一个方法,代码短小好排查。作者已在生产环境使用三次,现抽成独立包。
这三个工具分别解决模型接入、密钥安全和费用控制,正好是把 AI Agent 放进生产环境绕不开的三个环节。开源、免费、能本地跑,值得先 Star 起来,遇到对应问题时再翻出来用。