Google DeepMind AGIへの進捗測定: 認知フレームワーク
Google DeepMindは、人工汎用知能（AGI）への進捗を測定するための科学的基盤を提供する認知フレームワークと分類体系を導入しました。このフレームワークは、心理学、神経科学、認知科学の研究を活用し、AIシステムにおける汎用知能を評価するための実証的ツールの不足に対処することを目的としています。
汎用知能のための認知分類体系
このフレームワークは、汎用知能に不可欠な10の主要な認知能力を特定しています。これらの能力は以下のように分類されます。
- 知覚: 環境から感覚情報を処理・抽出すること。
- 生成: 行動、音声、テキストなどの出力を生成すること。
- 注意: 関連情報に認知資源を集中させる能力。
- 学習: 指示や経験を通じて新しい知識を獲得すること。
- 記憶: 時間を通じて情報を検索・保存すること。
- 推論: 論理的推論を用いて妥当な結論を導くこと。
- メタ認知: 自身の認知プロセスを監視し、知ること。
- 実行機能: 認知的柔軟性、抑制、計画立案。
- 問題解決: 特定領域の問題に対して効果的な解決策を見つけること。
- 社会認知: 社会的情報を解釈し、社会的状況で適切に応答すること。
3段階評価プロトコル
AIの性能を人間の能力と比較するために、Google DeepMindは3段階評価プロトコルを提案しています。
- ステージ 1: 各能力に対して幅広い認知タスク群を用いてAIシステムを評価し、データ汚染を防ぐために保持されたテストセットを利用する。
- ステージ 2: 同じタスクについて、人口統計的に代表的な成人サンプルを用いて人間のベースラインを収集する。
- ステージ 3: 各特定能力に対する人間のパフォーマンス分布と比較して、AIシステムの性能をマッピングする。
Kaggleハッカソンによる実装
Google DeepMindはKaggleと提携し、理論的フレームワークを実践に移すために「Measuring progress toward AGI: Cognitive abilities」ハッカソンを開催します。このコンペティションは、評価ギャップが現在最も大きい5つの認知能力（学習、メタ認知、注意、実行機能、社会認知）に対する評価手法の設計を研究コミュニティに募集します。
参加者はKaggleのCommunity Benchmarksプラットフォームを利用して、最先端モデルに対する評価をテストします。ハッカソンは総額$200,000の賞金プールを用意し、5つのトラックそれぞれで上位2件に$10,000、全体で最優秀4件に$25,000のグランプリを授与します。応募期間は3月17日から4月16日までで、結果は6月1日に発表されます。