> 📌 **项目地址**：[tashfeenahmed/freellmapi](https://github.com/tashfeenahmed/freellmapi) | ⭐ 14,215 颗星 | 🔧 TypeScript | 📜 未标注
## 免费额度堆起来有40亿token/月，但手动整合让人崩溃
每个主流AI实验室都给了免费层：Google Gemini打骨折、Groq跑Llama3飞快、NVIDIA的API时不时送额度、OpenRouter的免费模型列表也够长。单独看一家，一个月几百万token、几百次请求，只够写个demo。但如果你有28家（README列了Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai (Zhipu)、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints、OpenCode Zen、AI Horde、NaraRouter、Aion Labs、Requesty、NavyAI、Agnes AI、Reka、SiliconFlow、Routeway、BazaarLink、AINative Studio），累加每月约40亿token的免费推理容量——这个数字来自README原文：“~4 billion tokens per month”。
问题是整合它们太恶心：28套SDK、28种鉴权方式、28个不同的限速策略（有的每分钟3000次，有的每天1000次，有的最慢60秒1次），出错了要自己写重试逻辑。手动写胶水代码干这件事，折腾两天还不如直接买充值。
## FreeLLMAPI怎么解决
项目地址：https://github.com/tashfeenahmed/freellmapi，14,215颗星，用TypeScript写。它把所有提供商的免费模型端点（339个，属于235个模型家族）藏在一个本地运行的服务器后面，提供标准的OpenAI `/v1` API。你本地的OpenAI客户端只要改一下`base_url`，就能透明路由到合适的免费模型。
### 一分钟跑起来
Docker：
“`bash
docker run -d -p 8080:8080 ghcr.io/tashfeenahmed/freellmapi:latest
“`
启动后打开`http://localhost:8080`，有Web UI让你添加各家API Key，设置一个本地加密密码。之后随便一个OpenAI客户端：
“`python
from openai import OpenAI
client = OpenAI(base_url=”http://localhost:8080/v1″, api_key=”随便填”)
response = client.chat.completions.create(
model=”groq/llama3-70b-8192″,
messages=[{“role”: “user”, “content”: “你好”}]
)
“`
`model`参数必须是`提供商/模型名称`的格式，完整列表去 [freellmapi.co](https://freellmapi.co) 查。项目也提供了桌面应用（README提到，但没写具体平台，建议看GitHub Release）。
### 路由器怎么工作的
路由器从 freellmapi.co 拉取一个签名的动态目录（README原文：“Your router updates its own model catalog from a signed feed”）。当你请求某个模型，它会根据可用性、当前配额消耗、上次响应时间综合选一个提供该模型或近似的免费提供商。如果返回429或被限速，自动切换到下一个能力相近的提供商，客户端完全无感知。这个叫做“Context Handoff”——切换时把完整对话历史传给新模型，保证连续对话不会断。
### 密钥安全
你在Web UI设置的密码用于对API Key做对称加密，密文存在磁盘上。运行时密钥在内存中是明文。README明确说这样做只能防范磁盘被盗，不防运行时内存攻击。我实测觉得，个人开发机跑没问题，但如果打算暴露到公网，必须加一层Nginx做IP白名单或BasicAuth，因为FreeLLMAPI本身没有外部身份验证。
## 几个必须知道的坑
### 免费版的模型目录更新慢30天
免费安装版本每30天从 freellmapi.co 拉一次最新模型目录。付费Premium（$19/年）当天更新。新模型、配额变化、兼容性修复都会通过这个签名推送，不用`git pull`。如果你在乎第一时间用上免费新模型（比如某实验室突然开放了Llama3.2免费），免费版会滞后一个月。这是设计取舍，README也写了。
### 各家免费ToS差别很大
NVIDIA的免费额度写的是“仅评估”，Gemini免费层禁止大规模商业使用。项目方在README里声明“仅供参考，用户需自行审查”。如果你有商业用途，一定要挨个查你用的每家免费政策，尤其是多提供商组合时，每一家都要合规。
### 没有用户认证系统
FreeLLMAPI的Web UI没有任何用户登录。谁连上端口就能用。密钥虽然本地加密存盘，但内存是明文，运行时如果被其他进程读到就完了。我个人做法：Docker只`-p 127.0.0.1:8080:8080`，只在本机监听；如果需要在局域网或网络用，前面挡一个Nginx做BasicAuth。
## 适合谁？不适合谁？
**适合**：手上有3个以上免费LLM Key，需要频繁切换模型做对比实验或小工具开发；被单家429限流搞烦了，想要自动重试和回退；已经熟悉OpenAI SDK，不想学各家不同的库。
**不适合**：只用ChatGPT免费版一个模型，懒得去注册其他家；需要生产级高可用和细粒度权限控制；连10分钟配置Key都不愿意。另外，如果你对模型延迟有严格SLA，免费层本身不稳定，路由器也不能保证100%可用。
## 我的看法
FreeLLMAPI是目前整合免费LLM最完整的方案：一个端点、一个客户端库，覆盖28家。它不解决ToS合规问题，不提供认证，免费版更新有延迟——这些都是README里白纸黑字写着的。对我这种经常测不同模型效果、又不想花太多时间处理限流的人来说，它省下了大量重复的SDK对接工作。$19/年的Premium贵不贵，取决于你是否需要第一时间用上新免费模型；否则免费版足够了。
文中所有命令和用法均来自项目README原文。