📌 项目地址:NVIDIA/SkillEvaluator | ⭐ 1,472 颗星 | 🔧 Python
一个没人管的地带
Agent Skills 规范(agentskills.io)出来以后,把技能写成一堆指令文件挂给 Claude Code、Codex 用,已经是很常见的做法。但写完之后呢?没人知道这个技能写得规不规范,装上之后 agent 是变强了还是原地踏步。代码有 lint、有测试、有 CI,技能文件夹什么都没有。
NVIDIA 的 SkillEvaluator 补的就是这个缺口。它的思路分两步:先做静态质量检查,看技能文件本身写得行不行;再让同一个 agent 分别在带技能和不带技能的状态下跑任务,对比结果,量化技能的实际作用。它是 NVIDIA Verified Skills 流水线的一部分,方法论有论文(arXiv:2608.20614)和官方博客,还有一场 “Ask the Experts” 直播答疑。
Python 写的,一千多 star(截至发稿),pip 就能装。
不花一分钱先跑一次
README 里那句 “Three ways in, one CLI, same results” 说得清楚:命令行直接跑、挂进 CI、装成技能,三个入口,同一套结果。最省事的路径不需要 API key、GPU,连 Docker 都不用。
装好 uv 和 Git,克隆仓库:
git clone --depth 1 https://github.com/SkillEvaluator-placeholder.git
cd SkillEvaluator
(实际地址是 NVIDIA/SkillEvaluator,上面代码块以 README 为准:git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git)
用仓库自带的 text-analyzer 示例技能跑一遍质量检查:
uv run --python 3.13 skillevaluator quality-check
src/skillevaluator/tier3/reference_skills/text-analyzer
-r cli -r json -o reports/first-quality
uv 会自动装好 Python 3.13 和全部依赖。示例技能得分 86.2/100(B 等级),通过阈值默认 70 分,报告落在 reports/first-quality/skillevaluator-quality.json。通过时退出码为 0,这条可以直接拿来当 CI 卡点。
如果只是想快速验一下自己写的技能,装个包就行:
pip install skillevaluator
跑全部 Tier 1 检查,同样不需要 API key:
skillevaluator validate ./my-skill --tiers 1
挂进 CI,每个 PR 自动把关
团队协作写技能,靠人肉 review 看文件夹结构太慢。SkillEvaluator 能在每个 PR 上自动检查发生变更的技能。GitHub 上跑一条命令:
skillevaluator ci init
它会开一个配置 PR,合进去就完事。GitLab 没这么自动,但仓库里 ci/bundles/0.9.0 目录下有现成的 CI 模板可以复制,ci/examples/ 里还有报告示例,可以先看看长什么样再决定。
我最喜欢的设计:评估器自己也是一个技能
第三个入口有点绕但很妙:把 SkillEvaluator 本身装成一个技能,塞进 Claude Code、Codex 或任何支持技能规范的 agent:
npx skills add NVIDIA/SkillEvaluator
装完直接问它 “Is my skill any good?”,agent 自己调评估流程给你答复。机器上没 Node.js 的话,照官方文档手动复制技能文件夹也行。
我觉得这个设计对味:这个工具的目标用户本来就在 agent 里干活,与其让他们学一套新 CLI,不如把工具放进他们每天用的环境里。
几个实用细节
- 检查分档:Tier 1 免费、无 key 可跑,做的是静态检查;要模型参与的 rubric 评分需要 NVIDIA Build 的 API key。可以先零成本摸底,再决定要不要深入
- 失败即非零退出码,接 GitHub Actions 或 GitLab CI 当质量门禁,不用写额外判断逻辑
- 需要 Python 3.13,交给 uv 管就不用自己操心版本
- 完整文档在 docs.nvidia.com/skills/skillevaluator/,安装、GitHub Actions、GitLab CI、agent 技能四块各有单独指南
值不值得用
如果你在维护一组 Agent Skills,尤其是团队协作、走 PR 流程的那种,这个工具填的是真实空白:技能写完没人管质量的阶段可以结束了。CI 门禁挡住明显不合格的改动,行为对比回答更硬的问题:这个技能到底有没有用。
如果只是偶尔给自己写一两个技能,Tier 1 的免费检查也够用,至少能发现结构上的问题。上手成本就是一条命令的时间,试错代价很低。