DeepMind、世界初のダブルブラインドAI評価のパイロット運用を開始

TL;DR

DeepMindは、Google Cloud Confidential Computingを活用し、モデルの重みも評価プロンプトも相手方に公開されないことを保証する、独自のGemini Flash Liteモデルの世界初のダブルブラインド評価を開始しました。これにより、ベンチマークの汚染を防ぎ、AIの性能指標に対する信頼を高めることができます。

ダブルブラインド評価とは何か、そしてなぜ重要なのか

ダブルブラインド評価は、モデル提供者がテストプロンプトを見ることができず、評価者がモデルの重みを見ることができないことを保証します。これにより、従来の、外部テスターがベンチマークデータをモデル所有者にさらけ出すか、あるいはモデルの重みを受け取って知的財産の漏洩リスクを負うかというトレードオフを解消します。両方の資産をセキュアなエンクレーブ内で暗号学的に封印することで、評価はテスト資料への事前の接触なしに、モデルの真の能力を反映したものになります。

パイロット運用の技術アーキテクチャ

このパイロット運用では、Google CloudのConfidential Computingポートフォリオ内のConfidential Spaceを使用しています。ワークフローは以下の7つのステップに従います：

外部評価者が機密ベンチマークデータをGPU enclaveにアップロードします。
DeepMindは独自のGemini Flash Liteモデルを同じエンクレーブにアップロードします。
エンクレーブは、アテステーション（証明）を通じて、データとモデルがそれぞれの所有者に暗号化されたまま維持されていることを検証します。
モデルは、エンクレーブ内で隠蔽されたプロンプトに対して推論を実行します。
結果は、改ざん防止機能付きの台帳に記録されます。
両当事者は、相手方の資産が一度も公開されなかったことを示す暗号学的証明を受け取ります。
最終的なスコアは、基礎となるデータを公開することなく、一般に公開されます。

"Confidential Spaceを使用することで、外部の評価データと独自のモデルの両方が、それぞれの所有者に対してプライベートな状態を維持していることを暗号学的に検証できます。" – DeepMind blog

パートナーとパイロット運用の範囲

DeepMindは、Singapore AI Safety Institute、OpenMined、AVERI、およびMLCommonsと協力しました。このパイロット運用では、サイバーセキュリティや政府レベルの評価といった、極めて重要なユースケースを代表する一連の機密ベンチマークを用いて、Gemini Flash Liteモデルをテストしました。

AIエコシステムへのメリット

ベンチマークの汚染を防ぐ: モデルは評価前にテストプロンプトを「のぞき見」することができず、人工的なスコアのインフレを防ぎます。
知的財産を保護する: モデル所有者は、重みとアーキテクチャの完全な秘密を保持できます。
信頼できる第三者によるテストを可能にする: 独立した研究所は、データ漏洩のリスクなしに、高度なモデルを厳密に評価できます。
政策および規制への信頼をサポートする: 政策立案者は、公開されたベンチマーク結果が侵害されていないことを確信でき、、より情報に基づいた規制を促進します。

将来のモデル監視への影響

ダブルブラインド評価が広く採用されれば、、高インパクトなAIテストのデファクトスタンダードとなる可能性があります。特に、セキュリティが重要な、あるいは規制されたドメインに展開されるモデルにとって重要です。エンクレーブによって生成される暗号学的証明は、検証可能な監査トレイルを提供し、これはコンプライアンス・フレームワークや業界標準で要求される可能性があります。

詳細情報の入手先

DeepMindは、手法、暗号学的保証、およびパイロット運用の結果を記述した完全な技術レポートを公開しました。レポートは以下から入手可能です： https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/piloting-the-worlds-first-double-blind-ai-evaluations/double-blind-evaluations-technical-report.pdf

Outlook

このパイロット運用は、他のAI開発者やベンチマーク組織が再現可能な、スケーラブルでプライバシーを保護する評価パイプラインをデレクト示しています。信頼できるダブルブラインド・テスト体制を確立することで、業界は、より信頼性が高く、透明性が高く、安全なAI性能報告へと向かっています。

この記事は、2026年8月27日付のDeepMindの公式ブログ投稿に基づいています。