先说推理层:一老一新,同周上榜

vLLM(94,353 星)的解读这周才发,但它的地位早就定了:自己部署大模型做服务,它是最稳妥的起点。PagedAttention 把 KV cache 切块管理,显存碎片基本清零,配上 continuous batching,同一块卡的并发上一个大台阶。9.4 万星、2000 多名贡献者,这个体量还保持纯社区驱动的项目没几个。

有意思的是 TokenSpeed(2,396 星)同周上榜。它的对标写得很直白:性能看 TensorRT-LLM,易用性看 vLLM,切口更窄,只打 Agent 负载:请求并发高、上下文反复拼接、KV cache 频繁分配回收。我最欣赏它一个设计决定:把请求生命周期和 KV cache 所有权写成有限状态机,靠类型系统在编译期拦资源错误。cache 还被引用就被回收这类 bug,别的引擎要在深夜告警里查,它让编译器报错。控制平面 C++、执行平面 Python 的分离,PyTorch Foundation 收录时专门点了名。

一个守成,一个钻空档。它俩要是下周还在榜上,说明 Agent 推理这个细分真立住了。

省 token 的工具,这周凑齐了三层

上周盘点说中间层在长出自己的秩序,这周的证据更厚。

XERJ(5,408 星)从检索下手:先给代码库建索引,agent 直接拿到精确代码段和 file:line 定位,不用 grep 挨个翻文件。官方受控研究里 16 道题全对不变,输出 token 降到约 1/2.7;用户日常报告省 5 倍。它主打的 reference coding 值得一试:agent 接到任务先自动下载最接近的开源仓库建索引,看完别人怎么解,再动手写自己的。

Headroom(76,129 星)从内容下手:工具输出、日志、RAG 结果进上下文之前,先在本地压一道。README 的例子是 10,144 tokens 压到 1,260,模型照样找到那条 FATAL 日志。JSON、源码、自然语言各用各的压缩器,比一把通用模型硬怼合理。CacheAligner 只标记会打爆 KV-cache 前缀缓存的易变内容、从不改写 prompt 本身,这个细节想得深。

加上上周的 billion-context 管长会话记忆,检索、内容、记忆三层各有一个项目在守。这类工具的宿命多半是被上游吸收:vLLM 的 prefix caching、各家网关的上下文管理都在做相近的事。现在还有窗口期,窗口有多长不好说。

Google 亲自下场做 skill,规范包连续第三周上榜

android/skills(7,970 星)是 Google 官方维护的 SKILL.md 集合,读者是 AI 编程 Agent,不是人。它的选题标准我觉得比内容重要:只补评估数据显示 LLM 做不好的领域,R8 混淆、Wear OS 适配这类偏门活。Agent 已经熟练的不写,README 点名说基础 Jetpack Compose 最佳实践就不做。按缺口建库,不按知识体系建库。

连着三周,skill 类项目都在榜上:两周前社区工具包批量出现,上周 SwiftUI 规范包和航空受控英语包,这周 Google 官方仓库。生态从社区自发走向大厂供给,这个转折值得记一笔。

新物种:给 agent 做体检

iFixAi(27,032 星)一句话说清:120 秒告诉你一个 AI agent 有没有按业务 KPI 干正事。现有评估工具盯 token 效率、延迟、prompt 注入,它盯的是更上面的问题:agent 的行为符不符合组织架构和业务要求。三种跑法共用一个引擎,最有意思的是插件模式:agent 自己发现环境、构建测试夹具、跑诊断、向你解释记分卡。两万七千颗星说明”agent 干没干对事”这个焦虑相当普遍。

散件,快过

  • rust(119,878 星):语言本体仓库的解读,编译器、标准库、四大官方工具链都在里面,适合想搞清楚”我每天 cargo build 的到底是什么”的人。
  • llm-course(83,904 星):Maxime Labonne 的免费课,造模型和用模型两条路线分开铺,微调部分的五个 notebook 最扎实。
  • tiny11builder(20,127 星):把卸预装软件提前到装系统之前。三种模式里默认选 Tiny11,Core 装完不能更新,只适合虚拟机。
  • LinkSwift(23,558 星):八个网盘的直链油猴脚本。作者声明链接全来自官方公开 API、没碰限速,账号风险自己掂量。
  • Jasna(2,322 星):只修你框选的马赛克区域,画面其余部分一个像素不动。NVIDIA GTX 16 系起步,路径必须纯英文。
  • os-taxonomy(5,997 星):1,591 个小学微主题加 3,225 条依赖边组成的知识图谱,hard/soft 前置标注认真,做教育产品的可以直接用。

一句话总结

这周的主线:模型越来越便宜,围着模型省钱的工程越做越厚。推理引擎抠显存,检索和压缩抠 token,审计工具抠产出质量。账单焦虑正在变成一门正经生意。

这篇文章对你有帮助吗?

发表回复