Sakana AIのAgentic Scientistが研究を自動化、それでも人による確認は不可欠

Sakana AIは2026年10月15日、仮説検証から論文執筆までコーディングエージェントを統括する、The AI Scientistの第3世代「The Agentic Scientist」を公開した。また、編集可能なソースファイル付きの研究用図版を作成するツール「AutoIllustrate」もオープンソース化した。

要点#

The Agentic Scientistは、Claude CodeやCodexなどのコーディングエージェントを統括し、仮説の提案、実験の実行、結果の分析、論文の草稿作成を行う。
並列ワーカーが事前に定めた基準に照らしてアイデアを検証し、執筆・監査エージェントが論文の主張を実験的根拠に結び付ける。
Sakana AIは5つの研究課題で計70回の全工程実行を通じてシステムを評価したが、論文の自動評価だけでは科学的な正しさは確認できない。
コードはApache License 2.0で公開されており、ワークフローを試すためのCPUのみで動くサンプルも用意されている。
AutoIllustrateはdraw.ioのソースファイルを生成し、必要に応じて画像モデルで仕上げるため、研究者が後から図を修正できる。

システムの役割#

The Agentic Scientistは、研究エージェントを管理するフレームワークだ。各エージェントに渡す情報、作業の評価方法、工程間での結果の受け渡しを制御する。研究者は自律的な探索に利用することも、研究の方向性や検証要件を自ら指定することもできる。

プロジェクトには、出発点となる実装と、正しさを確認してスコアを算出する評価器が必要になる。エージェントは研究概要からこれらの作成を試みることもできるが、Sakana AIはこの機能を実験的なものと位置付けている。最初に試す際は、評価器の中身を確認できる、用意済みのサンプルを使うとよい。

実験が論文になるまで#

複数のワーカーが並列でアイデアを探索する。各ワーカーでは、提案エージェントが仮説、実験計画、ルーブリック（実装が合格するために満たすべき条件）を定める。実行エージェントはコードを変更し、評価を実施する。ワーカーは定期的に知見を共有し、その後の試行に過去の成功や失敗を生かす。

探索後、システムはチェックに合格した候補の中から最高スコアのものを選ぶ。その候補を初期実装と比較し、個々の変更を取り除くアブレーション実験によって、どの変更が改善をもたらしたのかを調べる。

続いて執筆エージェントが、収集した結果を基に論文の草稿を作成する。主張と測定値、保存済みの成果物を対応付ける表も作る。監査エージェントは数値の不整合や根拠を超えた主張を確認し、草稿の完成前に修正を促す。

結果から分かること#

ある共同研究では、研究者が開発版を使い、誤差逆伝播を用いないニューラルネットワーク学習手法「Error Diffusion」を拡張した。方向性と評価基準は人間が設定した。また、意図した学習則に反しているにもかかわらず高スコアを得た実装を人間が見つけ、チェックを強化した。成果をまとめた論文「Diffusing Blame」は外部の査読を受け、ALIFE 2026の口頭発表に採択された。

別の自律実験では、文書情報検索テストの完全一致精度が52%から98%に向上した。システムは、文書ごとのLoRAパラメータの選択・組み合わせ方法を調整した。この結果は合成文書に対するものであり、実際の文書や、より複雑な質問での性能は引き続き確認が必要だ。

より広範な評価として、Sakana AIは9種類の言語モデルと4種類のエージェント実行ツールを使い、5つの課題で計70回の研究ワークフローを実行した。論文は同社のAI Reviewerツールで1〜10点の評価を受けた。新しいモデルほど概して高得点だった一方、同じモデルを使った場合の実行ツール間の差は小さかった。これらは自動評価であり、研究を独立に検証したものではない。

人によるレビューが必要な箇所#

Error Diffusionの事例は、中心的なリスクを示している。プログラムは、誤った問題を解いていても高スコアを得られる。評価器やルーブリックは、検出を想定していない誤りを見逃し得る。チェックへの合格は、自動的な採用ではなく、精査のきっかけとすべきだ。

文献の網羅性にも課題が残る。コーディングエージェントが探索中にウェブ検索を行う場合はあるが、専用の文献検索はアイデア生成の開始時ではなく、論文執筆時に行われる。また、このフレームワークは、比較のために既存論文の有力な手法を再現するよりも、選択した実装への変更を検証することに適している。

報告された評価は、計算機上で行う機械学習研究を対象としている。物理的な実験や人を対象とする研究への適性を示すものではない。研究の方向性、実装の確認、結論に対する責任は引き続き人間が負う。

ツールの試し方#

The Agentic Scientistは、Sakana AIのGitHubリポジトリAI-Scientist-v3で、Apache License 2.0の下で公開されている。agsci CLIは標準でClaude Codeを使い、CodexやGemini CLIなどにも対応する。READMEでは、ワークフローの各工程をDocker内で実行することを推奨している。

まずはCPUのみで動く円充填のサンプルから始めよう。正方形の中に26個の円を重ならないように配置し、半径の合計を最大化する課題だ。GPUを必要とする研究課題を選ばずに、実験から論文までの過程を確認できる。

AutoIllustrateは、説明用の図を別途作成する。draw.ioファイルを生成し、図形の重なりや矢印の配置を確認したうえで、必要に応じて画像生成モデルで仕上げたPNGを作成する。図形、矢印、ラベルを編集できるよう、draw.ioファイルは保存しておこう。PNGは別の出力となる。標準構成ではClaude CodeとOpenAI APIキーが必要で、画像の仕上げ処理は省略できる。

次のステップ#

AI-Scientist-v3のREADMEにあるCPUのみで動く円充填サンプルを実行し、生成された論文の主張を1つ選んで、保存された実験的根拠までたどってみよう。

出典: https://gihyo.jp/article/2026/10/the-agentic-scientist-v3

要点#