📌 项目地址：ifixai-ai/iFixAi | ⭐ 27,032 颗星 | 🔧 Python | 📜 未标注
—
现有评估工具漏掉了最重要的问题
Eval 框架、红队测试、可观测性平台，这些工具盯的都是技术面：token 效率、延迟、prompt 注入防御。它们回答不了那个老板真正关心的问题：
这个 Agent 有没有按业务 KPI 和组织架构的要求，做它该做的事？
iFixAi 就是冲着这个问题来的。它在 AI 红队测试和运营保障之间找了个平衡点，一次诊断 120 秒内出结果。Python 写的，27032 个 Star。
三种跑法，底下是同一个引擎
这一点很关键：不管你用哪种方式跑，诊断逻辑完全一样，区别只在怎么配置和驱动。
向导模式（第一次用选这个）
pip install "ifixai[openai]" # 换成 anthropic、gemini 等 provider extra 也行
ifixai setup
setup 跑一次，之后每次 ifixai run 都不用带参数，配置存在 ifixai.yaml 里。向导会自动探测 API key，但配置文件里只记环境变量名，不存密钥本身。测试套件用方向键选，最后拿到 JSON、Markdown 报告，外加终端里一张可视化记分卡。
显式参数模式（CI 和自动化用这个）
所有选项走 CLI flag，可以直接写进脚本。默认跑 10 项检查，--full-run 跑全部 60 项，也可以用 --suite smoke|strategic|essential|core|extended|all 挑套件。要审计留痕、批量跑批，就用它。
插件 / Skill 模式（最有意思的一种）
Agent 自己当操作员：它去发现你的环境配置，构建测试夹具，跑完诊断，再向你解释记分卡。Claude Code 和 Codex 直接装插件，配置自动搞定；其他 Agent 执行一条命令生成 /ifixai-skill 脚手架：
uvx ifixai install
支持的环境不少：Claude Code、Cursor、Codex、VS Code、Windsurf、Cline、Continue、Gemini、Zed。
四个设计细节
测什么你自己定。 可以测任意 provider，也可以指向你自己 Agent 的真实 endpoint。
谁来打分可以配置。 自我评分、单一独立厂商评分、或者多个裁判组成的 ensemble。审计独立性不是固定的，是选项。
密钥不落地。 向导只把环境变量名写进 ifixai.yaml，插件模式明确不从命令行传 key。
评分标准只有一套。 Agent 在插件模式里选的 --mode 和 --suite，跟你手动传参跑的是同一个引擎，不会出现 CLI 一个分数、插件另一个分数的情况。
上手建议
完整的安装和各模式走读在官方 docs/get-started.md 里，README 只有快速入门片段，插件安装细节建议直接看文档。
60 项检查分了好几个套件，先从默认 10 项或者 smoke 套件跑起，看结果再决定要不要 --full-run。
还有一点要提醒：评分靠 LLM 裁判，结果天然有随机性。如果你要做正式的审计留痕，用显式参数模式固定配置，再配上多裁判 ensemble，会稳妥得多。
如果你的 Agent 已经上线，监控面板上一片绿，但你心里没底它业务上到底行不行，这个项目值得跑一次。