目次
LLMは研究アイデアの選別に役立つが、新規性の判定はプロンプトや評価条件に左右されすぎるため、最終判断には使えない。Ai2が2026年10月27日に公開した *Old Ideas, Novel Problems* は、自信に満ちた回答にも独立した検証が必要な理由を示している。
要点#
- 同じ人間作成とAI生成のアイデアのペアでも、プロンプトを変えるとGPT-5.4の正解率は93.5%から40.9%に低下した。
- 人間が書いた研究で検証した判定モデルも、AI生成のアイデアを評価する際には異なる挙動を示すことがある。
- 検証した構成では、推論や文献検索を増やし、費用をかけても、結果は一貫して改善しなかった。
- 新規性スコアは文献調査の優先順位付けに使い、妥当な範囲でプロンプトを変えても判定が維持されるか確認する。
ベンチマークが測るもの#
Ai2はICLR 2026の査読をもとにベンチマークを構築した。採択を新規性の証拠とせず、独創性に明示的に言及したコメントを用いている。
人間が作成したアイデア群は、次の2群で構成された。
- 新規性が高い154件のアイデア: 研究分野内の評価が上位10%に入る採択論文で、査読者が新規性を高く評価し、異議を唱えた査読者がいないもの。
- 新規性が低い145件のアイデア: 評価が下位10%に入る不採択論文で、独創性への懸念があり、新規性を肯定的に認めた査読者がいないもの。
別の評価条件では、新規性が高い人間のアイデア154件と、基本的なLLM生成器によるアイデア154件をペアにした。生成器には研究分野と新規性のあるアイデアを提案する指示を与え、文献検索やフィードバックは使わなかった。生成された提案の判定は新規性評価器の代表的な想定用途であるため、この条件は重要だ。
小さなプロンプト変更で、判定が大きく逆転#
最も明確な結果は、GPT-5.4に人間とAIのアイデアを比較させる方法を変えた際に得られた。一方のプロンプトでは、査読者が一方のアイデアだけに新規性を認めたと伝え、それがどちらかを特定させた。もう一方では、単にどちらのアイデアに新規性があるかを尋ねた。
正解率は93.5%から40.9%へ、52.6ポイント低下した。同じペアの半数以上で、モデルの判定が逆転した。最初のプロンプトには想定される正解に関する情報も含まれていたため、その高得点を、制約のない新規性判定モデルも同様に信頼できる証拠とみなすべきではない。
影響はモデルやデータセットによって異なった。人間のアイデア同士の比較では、同じプロンプト変更でGPT-5.4の正解率が約7ポイント、Claude Opus 4.6では21ポイント変化した。2つのAI生成器の比較では、検証したプロンプト変更により、6つの判定モデルの平均で約4分の1から3分の1の判定が逆転した。どちらのアイデアが実際により新規性が高いか不明でも、こうした逆転は判定の不安定さを示している。
ツールを増やしても解決しなかった#
この研究では、検索や推論の追加による一貫した改善は見られなかった。ある比較では、推論強度をextra-highに設定し、arXiv検索を繰り返す判定モデルのマクロF1は0.78だった一方、検索で取得した要旨5件を与えたClaude Opus 4.6の構成では0.89だった。研究で用いたAPI料金では、検索エージェントの判定1回あたりの費用は約10倍だった。
専用の評価器も、人間とAI生成のアイデアを組み合わせたデータセットでは、単純なベースラインを下回った。
| 評価器 | マクロF1 | 評価費用の総額 | |---|---:|---:| | プロンプトで指示したClaude Opus 4.6 | 0.854 | $2.59 | | Idea Novelty Checker | 0.642 | $30.66 | | AI Scientist新規性評価器 | 0.772 | $82.05 |
マクロF1が高いほど、新規性のあるアイデアとないアイデアをより適切に分類できている。これらは投票方式や呼び出し構成が異なる、特定の設定での結果であり、検索が一般に無効だと示すものではない。ただし、より複雑なパイプラインには、改善を裏付ける実測の証拠が必要だと示している。
判定モデルを責任を持って使うには#
LLMの判定はレビューの補助として扱う。有用な出力とは、最も近い先行研究を特定し、提案との差分を研究者が検証できるほど明確に説明するものだ。
判定モデルでアイデアを選別する前に、次を行う。
1. 実際の評価対象に近い提案で検証し、必要に応じてAI生成のアイデアも含める。 2. 少なくとも2種類の妥当なプロンプトを試し、判定が変わる頻度を記録する。 3. 引用された最も近い論文を読み、主張されている貢献がすでに含まれていないか確認する。 4. 判定が分かれた事例は、アイデアを却下したり独創性を主張したりする前に、専門家のレビューに回す。
このベンチマークには限界がある。生成されたアイデアのラベルは根拠が弱く、研究者は、選ばれた人間の研究成果より新規性が低いと仮定した。専門家は確認した30組すべてで人間のアイデアを高く評価したが、その標本は判定モデルが誤った事例に偏っており、すべてのペアを検証したわけではない。また、結果はICLRの研究に基づいているため、他分野では独自の検証が必要だ。
次の一歩#
現在の研究提案10件を2種類の新規性判定プロンプトで点検し、判定が変わったすべての提案について、最も近い先行研究を手作業で確認する。
出典: https://huggingface.co/blog/allenai/novelty-bench
目次
