📌 项目地址：diegosouzapw/OmniRoute | ⭐ 8,331 颗星 | 🔧 TypeScript | 📜 未标注
核心价值：一个端点，连接所有免费AI能力
OmniRoute 是一个统一 AI 网关，目标是解决开发者同时使用多个 AI 提供商时的痛点：每个服务有自己的 SDK、速率限制、计费方式，手动管理免费层非常繁琐。它通过一个 API 端点，聚合了 236 个提供商（其中超过 50 个提供免费层），让你可以用同一个接口调用 Claude、GPT、Gemini、Llama 等主流模型，并享受到自动回退和智能压缩的能力。
最吸引人的数据是：项目声称通过 40 多个提供商池和 500 多个模型，稳定提供约 16 亿免费 token/月（首月可通过注册积分最高达到约 21 亿）。虽然这些免费 token 并非完全无成本（受限于每个提供商的免费层政策），但项目方提供了一个实时仪表板 /dashboard/free-tiers 来展示剩余额度，让用户透明地了解自己能用的免费资源。
实际用法：如何快速接入
安装与启动
OmniRoute 支持多种部署方式，推荐使用 npm 全局安装（假设已安装 Node.js 16+）：
npm install -g omniroute
然后运行服务：
omniroute start
默认会在本地 http://localhost:3000 启动一个 API 端点。官方也提供了 Docker 镜像，方便容器化部署：
docker pull diegosouzapw/omniroute
docker run -p 3000:3000 diegosouzapw/omniroute
连接主流 AI 客户端
服务启动后，你可以将任意兼容 OpenAI 格式的客户端指向该端点。例如在 Cursor 中，设置 OpenAI Base URL 为 http://localhost:3000/v1/chat/completions，并填入一个假 API Key（或项目分配的 Key），即可开始调用聚合模型。对于 Claude Code、Codex、Copilot 等工具，通常只需修改环境变量中的 API_BASE_URL 或配置文件中的 endpoint。
使用“Combo”（组合配置）优化体验
项目内置了多种预配置的模型组合（Combos），例如 “fast-free” 会优先使用免费的快速模型，失败时自动回退到其他免费层；“reliable” 会优先使用付费模型以确保稳定性。你可以通过 API 参数 combo 或配置文件选择。
{
"combo": "fast-free",
"messages": [{"role": "user", "content": "Hello"}]
}
如果某个模型挂掉或达到速率限制，网关会自动将请求转发到同组合的下一个可用模型，无需手动重试。
核心技术亮点：压缩与自动回退
RTK + Caveman 压缩 是 OmniRoute 的特色，据称可节省 15-95% 的 token 消耗。其原理是在发送前对输入进行重新编码、消除冗余、压缩上下文（例如移除重复的系统提示、缩短代码注释），且不损耗最终输出质量。这对调用免费层的用户极其宝贵——同样的请求量，消耗的免费 token 更少，能持续更久。
自动回退（Auto-fallback） 并非简单的“失败重试”，而是基于每个提供商的实时健康状态、响应速度、可用余额（免费层用完后自动切到其他免费层）进行智能路由。用户只需关心逻辑，不必手动切换提供商。
与同类项目的区别
市面上已有多个 AI 聚合网关（如 one-api、LiteLLM、Portkey 等），OmniRoute 的核心差异在于：
– 专注免费层聚合：其他项目通常侧重统一计费或负载均衡，而 OmniRoute 明确针对免费 API 的堆积与自动切换，并提供免费 token 配额可视化。
– 极致 token 节省：RTK+Caveman 压缩不是简单的截断，而是通过语义压缩减少 token 数，这是项目独有的优化。
– 支持 MCP / A2A 协议：除了标准的 OpenAI 兼容接口，还支持 Model Context Protocol 和 Agent-to-Agent 通信，适合搭建多智能体协作系统。
– 桌面端与 PWA：提供桌面应用和 Progressive Web App，方便本地测试和管理。
需要注意的事项
- 免费层的稳定性：免费提供商可能随时更改政策、停止服务或降低速率限制，OmniRoute 虽然做聚合和自动回退，但无法保证所有免费模型长期可用。建议重要业务搭配付费模型使用。
- Token 计数：项目声称的 ~16 亿免费 token/月 是“文档化的免费层总和”，实际可用额度取决于各提供商的实时剩余量，仪表板数据仅供参考。压缩算法虽然能节省 token，但具体节省比例因请求内容而异。
- 自托管安全：默认运行时无 API Key 验证，部署到公网时务必添加反向代理和认证，避免被滥用。项目本身是 MIT 许可证，可自由修改。
- 合规性：通过聚合网关使用第三方 API，需遵守各提供商的条款（例如某些提供商禁止通过中介调用）。建议在商业场景下提前确认。
如果只是想低成本体验多个模型、或为本地的 AI 开发工具接入免费资源，OmniRoute 是一个非常实用的选择。更多详细配置请参阅官方文档：https://omniroute.online 或 GitHub 仓库中的 docs 目录。