目录
Sakana AI于2026年10月15日发布了The AI Scientist的第三代系统“The Agentic Scientist”,统筹编码智能体,完成从假设验证到论文撰写的工作。同时,该公司还开源了“AutoIllustrate”,用于生成附带可编辑源文件的科研插图。
要点#
- The Agentic Scientist统筹Claude Code、Codex等编码智能体,提出假设、执行实验、分析结果并撰写论文草稿。
- 并行工作单元根据预先设定的标准验证想法,写作与审计智能体将论文中的论断与实验证据关联起来。
- Sakana AI在5项研究任务中共运行了70次完整流程来评估系统,但仅靠论文自动评估无法确认科学上的正确性。
- 代码以Apache License 2.0开源,并提供仅需CPU即可运行的示例,方便试用工作流程。
- AutoIllustrate生成draw.io源文件,并可按需使用图像模型完成最终处理,方便研究人员后续修改插图。
系统的作用#
The Agentic Scientist是一个管理研究智能体的框架。它控制传递给各智能体的信息、工作评估方式,以及各阶段之间的结果交接。研究人员既可以用它进行自主探索,也可以自行指定研究方向和验证要求。
项目需要一份作为起点的实现,以及一个用于检查正确性并计算得分的评估器。智能体也可以尝试根据研究概要创建这些内容,但Sakana AI将这项功能定位为实验性功能。初次尝试时,建议使用预先准备好的示例,以便检查评估器的具体内容。
从实验到论文#
多个工作单元并行探索想法。在每个工作单元中,提案智能体负责确定假设、实验计划和评分准则(实现必须满足才能通过的条件)。执行智能体修改代码并进行评估。各工作单元定期共享发现,将以往的成功与失败用于后续尝试。
探索结束后,系统从通过检查的候选方案中选出得分最高的方案。随后将其与初始实现进行比较,并通过逐一移除各项改动的消融实验,查明哪些改动带来了改进。
接着,写作智能体根据收集到的结果撰写论文草稿,同时制作表格,将论断与测量值、已保存的产物对应起来。审计智能体检查数值不一致或超出证据范围的论断,并在草稿完成前推动修正。
结果说明了什么#
在一项合作研究中,研究人员使用开发版系统,扩展了不使用反向传播的神经网络训练方法“Error Diffusion”。研究方向和评估标准由人类设定。此外,人类还发现了一份违背预期学习规则却获得高分的实现,并加强了检查。总结研究成果的论文“Diffusing Blame”经过外部同行评审,获选在ALIFE 2026上进行口头报告。
在另一项自主实验中,文档信息检索测试的完全匹配准确率从52%提升至98%。系统调整了各文档LoRA参数的选择与组合方式。这一结果基于合成文档,仍需验证其在真实文档及更复杂问题上的表现。
在更广泛的评估中,Sakana AI使用9种语言模型和4种智能体运行工具,在5项任务上共运行了70次研究工作流程。论文由该公司的AI Reviewer工具按1至10分评分。较新的模型通常得分更高,而使用同一模型时,不同运行工具之间的差异较小。这些结果来自自动评估,并不代表研究经过了独立验证。
需要人工审查的环节#
Error Diffusion的案例揭示了一个核心风险:程序即使解决了错误的问题,也可能获得高分。评估器和评分准则可能漏掉设计时未考虑到的错误。通过检查应当成为深入审查的起点,而不是自动采纳的依据。
文献覆盖的全面性也仍有不足。编码智能体有时会在探索过程中搜索网页,但专门的文献检索是在论文撰写阶段进行,而非在开始生成想法时进行。此外,相比复现已有论文中的强效方法用于比较,这个框架更适合验证对所选实现的改动。
已报告的评估面向在计算机上开展的机器学习研究,并不能证明它适用于实体实验或以人为研究对象的研究。研究方向、实现核查以及结论的责任仍由人类承担。
如何试用工具#
The Agentic Scientist以Apache License 2.0发布在Sakana AI的GitHub仓库AI-Scientist-v3中。agsci CLI默认使用Claude Code,也支持Codex、Gemini CLI等工具。README建议在Docker中运行工作流程的各个阶段。
可以先从仅需CPU即可运行的圆填充示例开始。任务是在一个正方形内放置26个互不重叠的圆,使半径之和最大化。无需选择依赖GPU的研究任务,即可了解从实验到论文的整个过程。
AutoIllustrate单独生成说明性插图。它生成draw.io文件,检查图形重叠和箭头位置,再按需使用图像生成模型输出经过最终处理的PNG。请保留draw.io文件,以便编辑图形、箭头和标签。PNG是单独的输出文件。默认配置需要Claude Code和OpenAI API密钥,图像的最终处理步骤可以跳过。
下一步#
运行AI-Scientist-v3的README中仅需CPU的圆填充示例,从生成的论文中选取一条论断,尝试追溯到已保存的实验证据。
来源: https://gihyo.jp/article/2026/10/the-agentic-scientist-v3
目录
