Novelty-Bench: 科学研究評価におけるLLMの信頼性評価

AIによる新規性判断の信頼性評価

自動化された科学的発見は、AIシステムが真に新規性のある研究アイデアと、既存の研究を単に再構成しただけのものを区別できるかどうかに依存しています。新しい研究である『Old Ideas, Novel Problems』は、現在の大規模言語モデル（LLM）の新規性判定器が信頼できず、プロンプト、評価設定、評価対象のアイデアの性質のわずかな変化によってパフォーマンスが大きく変動することを示しています。

Novelty-Benchベンチマーク

新規性判定器の有効性を測定するために、Allen Institute for AI (Ai2) の研究者は、ICLR 2026の査読コメントを使用したベンチマークを開発しました。チームは論文の採択状況に頼るのではなく、貢献の独創性について明示的に議論している査読者のコメントを抽出しました。

2つの評価設定が作成されました：

Human-Only: 154件の高い新規性を持つアイデア（採択論文の上位10%）と、145件の低い新規性を持つアイデア（不採択論文の下位10%）を組み合わせたもの。
Human+Generated: 154件の高い新規性を持つ人間のアイデアと、基本的なLLMによって生成された154件のアイデアを組み合わせたもの。人間の研究とAI生成出力を比較するためのベースラインを提供します。

プロンプトとモデルの不安定性に対する感度

GPT-5およびClaude 4.5/4.6シリーズのモデルを含む6つのLLM判定器をテストした結果、新規性評価は非常に脆いものであることが明らかになりました。

プロンプト感度: ある実験では、プロンプトの文言をわずかに変更しただけで、より新規性の高いアイデアを特定するモデルの精度が93.5%から40.9%に低下しました。
不整合性: Human-Onlyデータセットでわずかな変化を引き起こした同じプロンプトの変更が、Human+Generatedデータセットでは劇的なパフォーマンスの変動を引き起こしました。これは、判定器がAI生成コンテンツを評価する際に特に不安定であることを示しています。
転移性の欠如: あるモデルの精度を向上させたプロンプトが他のモデルではパフォーマンスを低下させることが多く、新規性判定器のプロンプト作成において普遍的な「ベストプラクティス」が存在しないことを示唆しています。

特化型システム対単純なシステムのパフォーマンス

より複雑で目的別に構築されたシステムが、単純なプロンプトベースラインよりも優れた結果をもたらすとは限りません。この研究では、標準的な検索ベースの判定器と、高い推論予算とライブでの反復検索を行うエージェント型システムを比較しました。

効率性: 単純な Claude Opus 4.6 のプロンプトは、1決定あたり2.59ドルのコストで0.854のマクロF1スコアを達成しました。
コストとパフォーマンスのギャップ: 「Idea Novelty Checker」や「AI Scientist」評価器のような特化型システムは、より低いスコア（それぞれ0.642と0.772）でありながら、コストは大幅に高く（1決定あたり30.66ドルと82.05ドル）なりました。

自動化された発見への影響

これらの調査結果は、AIが生成した研究の新規性を検証するための現在の手法が不十分であることを示唆しています。新規性判定器は、人間が作成したアイデアとAIが生成したアイデアで異なる挙動を示すため、人間が書いた論文のみでこれらのシステムを検証することは、現実世界のパフォーマンスを評価する上では不十分な代替指標となります。研究チームは、コミュニティがAI主導の科学的発見のために、より堅牢で信頼性の高い評価手法を開発できるよう、ベンチマーク、データ、コードを公開しています。