Google DeepMind FACTS ベンチマークスイート リリース

Google DeepMind は、Kaggle とのパートナーシップで FACTS ベンチマークスイート をリリースし、大規模言語モデル (LLM) の事実性を体系的に測定および向上させました。このスイートは、パラメトリック知識、ウェブ検索合成、マルチモーダル解釈、およびグラウンドドコンテキストという 4 つの異なる情報検索シナリオにおけるモデルの精度の特定の失敗モードを特定するための標準化されたフレームワークを提供します。

FACTS ベンチマークスイート の構成

FACTS ベンチマークスイート は、4 つの専門的なベンチマークにわたる 3,513 件のキュレートされた例で構成されています。評価の整合性を維持するために、Google DeepMind は透明性のためにパブリックセットの分割を使用し、Kaggle が管理するプライベートの保持-out セットを使用してデータ汚染を防ぎ、最終的な FACTS スコア（すべての 4 つのベンチマークにおける平均精度）を計算します。

FACTS パラメトリック ベンチマーク

パラメトリック ベンチマークは、外部ツールを使用せずにモデルが内部知識にアクセスする能力を測定します。Wikipedia を使用して回答できる「トリビアスタイル」のファクトイド質問に焦点を当て、モデルの内部世界知識をテストします。

• データサイズ: 1,052 パブリックアイテムと 1,052 プライベートアイテム。
• 例題: ニッチな事実質問に答えること、たとえば「The Rockford Files」のテーマソングでのハーモニカ奏者を特定すること。

FACTS サーチ ベンチマーク

サーチ ベンチマークは、モデルがウェブ検索ツールをどれだけ効果的に使用して情報を取得および統合するかを評価します。単一の複雑なクエリに答えるために複数の事実を順次取得する必要があることにより、挑戦的であるように特別に設計されています。

• データサイズ: 890 パブリックアイテムと 994 プライベートアイテム。
• ツール: すべてのモデルが同じウェブ検索ツールを使用し、結果が検索インフラストラクチャの違いではなくモデルの能力を反映するようにします。
• 例題: 複数の検索ステップを通じて特定された 3 人の特定のオリンピックボクサーの出生年の合計を計算すること。

FACTS マルチモーダル ベンチマーク

マルチモーダル ベンチマークは、視覚的グラウンディングとパラメトリック知識の統合をテストし、画像入力に基づいて事実的に正確なテキストを生成することをモデルに要求します。

• データサイズ: 711 パブリックアイテムと 811 プライベートアイテム。
• コア要件: モデルは視覚情報を正確に解釈し、内部知識と結びつけて完全かつ正確な応答を提供しなければなりません。
• 例題: 画像で提供された動物の属を特定すること。

FACTS グラウンディング ベンチマーク v2

元の FACTS グラウンディング ベンチマークのアップデートであるバージョン 2 は、特定のプロンプト内で提供されたコンテキストに厳密に根ざした回答を提供するモデルの能力をテストします。

パフォーマンス結果とモデルベンチマーク

Google DeepMind は、このスイートを使用して 15 の主要な LLM を評価しました。Gemini 3 Pro は FACTS スコア 68.8% で最高の全体的なパフォーマンスを達成しました。

Gemini 3 Pro の改善点

Gemini 3 Pro は、特にツール使用と内部知識において、Gemini 2.5 Pro と比較して事実性において顕著な向上を示しました。

• FACTS サーチ: エラー率が 55% 減少。
• FACTS パラメトリック: エラー率が 35% 減少。
• SimpleQA 検証済み: 精度が Gemini 2.5 Pro の 54.5% から Gemini 3 Pro の 72.1% に増加。

業界全体の課題

Gemini 3 Pro のリードにもかかわらず、マルチモーダル ベンチマークはすべての評価対象モデルの中で最低のスコアを示しました。このカテゴリで全体の精度が 70% を超えるモデルはなく、マルチモーダルの事実性が今後の研究開発における重要な分野であることを示しています。