📌 项目地址：SakanaAI/AI-Scientist | ⭐ 13,816 颗星 | 🔧 Jupyter Notebook | 📜 NOASSERTION
项目到底做了什么
SakanaAI 发布的 AI Scientist 想解决一个问题：让大语言模型独立完成科学发现。给定一个研究模板（比如“对比不同学习率策略对Transformer的影响”），系统循环执行：提idea、写代码、跑实验、分析结果、生成LaTeX、输出PDF。整个过程不需要人干预。
GitHub 仓库有13816个星，代码是Jupyter Notebook。README 提供了10篇示例论文的PDF链接，以及一个Google Drive文件夹，里面存了每次实验的完整数据——JSON日志、代码、最终论文。
需要自己准备API key（Claude、GPT‑4等）和算力。安装步骤不在README正文里，仓库里应该有配置说明。
我读了10篇示例论文
结论很直接：质量相当于一个认真做课程的本科生。验证已知结论，局部观察准确，但不会追问为什么。
举两个例子。
《Adaptive Learning Rates for Transformers via Q-Learning》
在4层Transformer上对比Q-learning调学习率、固定学习率、衰减策略。结论是Q-learning收敛更快。论文没分析Q-learning自己的超参数敏感度（ε、γ、学习率），没跟Adam偏置校正、余弦退火这些常见基线比，也没解释为什么快。它就是一次实验记录，不是严谨的比较研究。
《Grokking Through Compression》
复现了grokking现象，测量泛化前后模型的MDL，发现泛化后MDL突然下降。这个观察原始论文（Power et al. 2022）已经讨论过。系统没有做任何干预实验去区分因果关系，只报告了相关性。
其他论文风格一致：设定一个简单对比（加数据增强 vs 不加，换初始化方式 vs 默认），跑实验，画图，给局部结论。系统不会问“如果取消注意力机制会怎样”，不会提反事实假设。读一篇PDF就能判断它做不到深层解释。
日志比论文值得挖
Google Drive里的JSON日志记录了完整LLM调用过程：prompt、response、错误信息、重试次数。我下载了几份分析，发现三件事。
idea重复严重。两条连续运行用同一个模板生成了几乎一样的idea：“用Q-learning调整学习率”。最后论文题目和实验设计高度相似。系统没有去重。如果你打算用它批量生成，人工去重是必须的。
模型修复代码的方式不同。Claude 3.5 Sonnet遇到ImportError或TypeError时倾向于改参数、加try‑except、加条件判断，很少重构架构。GPT‑4倾向于重写整段代码，有时引入新依赖又报新错误。每次实验里，代码错误占LLM调用的30%–50%（每条prompt和response都有时间戳，手动统计一下就行）。这个差异对设计类似自动科研系统有直接参考价值。
失败类型不同。Claude更保守，容易漏掉关键步骤——比如忘记保存checkpoint、没设随机种子、没把结果写入CSV。GPT‑4尝试更复杂的操作（多进程、自定义Dataset类、混合精度训练），但新风险带来新错误。两种模型的失败分布有明显差异。
这些日志是研究“LLM在模拟科研任务中行为特征”的第一手资料。想知道模型在哪个步骤最常出错、一次完整实验平均需要多少次API调用、错误类型分布——去Drive拉原始JSON回来自己分析，信息量比读成品论文大一个数量级。
适合谁，不适合谁
适合：你有一个已知的、结构化的研究范式（比如“在小Transformer上对比优化器”），想批量测试30种变体，拿到格式统一的实验报告。每跑完一个idea，你得到一份PDF + 原始数据 + 代码。人工筛选哪几个变体值得深入分析。从时间成本看，它相当于一个自动写实验报告的外包。
不适合：需要深层解释、因果推断、全新实验设计的任务。系统不会提出反常识假设，也不会在发现相关性后追问因果。它能做的，本质上是在已有模板里换参数、换方法、换模型，然后记录结果。它是一台实验报告自动生成机——效率很高，判断力很弱。接受这个定位，它有用。想找独立的科研助手，等下一版。
最快的方式判断它是否适合你：下载10篇PDF读完。如果你觉得那个质量够用——也就是你只需要快速验证一个已有方向的变体，再考虑按README说明跑自己的模板。如果你期望系统能提出新问题、设计原创实验对照、给出深层次解释，读PDF就能判断它做不到。
我个人的建议是：别太关注它生成的论文，去挖日志。那些日志是研究LLM科研行为的第一手资料，比论文本身有价值得多。