Google DeepMind 测量通往 AGI 的进展：认知框架

通用智能的认知分类法

该框架确定了对通用智能至关重要的 10 项关键认知能力。这些能力分类如下：

  1. 感知：处理并提取来自环境的感官信息。
  2. 生成：产生包括动作、语言和文本在内的输出。
  3. 注意：将认知资源聚焦于相关信息的能力。
  4. 学习：通过指令和经验获取新知识。
  5. 记忆：随时间检索和存储信息。
  6. 推理：使用逻辑推断得出有效结论。
  7. 元认知：对自身认知过程的监控与了解。
  8. 执行功能：认知灵活性、抑制和计划。
  9. 问题解决：为特定领域问题寻找有效解决方案。
  10. 社会认知：解释社会信息并在社交情境中作出恰当回应。

三阶段评估协议

为了将 AI 性能与人类能力进行基准比较，Google DeepMind 提出了三阶段评估协议：

  • 阶段 1：使用针对每项能力的广泛认知任务套件评估 AI 系统，利用留出测试集防止数据污染。
  • 阶段 2：使用具有人口统计代表性的成年样本收集相同任务的人类基线。
  • 阶段 3：将 AI 系统的表现映射到每项具体能力的人类表现分布上。

通过 Kaggle 黑客马拉松的实施

Google DeepMind 正与 Kaggle 合作，通过 “Measuring progress toward AGI: Cognitive abilities” 黑客马拉松将该理论框架付诸实践。比赛邀请研究社区为当前评估差距最大的五项认知能力设计评估：学习、元认知、注意、执行功能和社会认知。

参与者使用 Kaggle 的 Community Benchmarks 平台将评估与前沿模型进行测试。黑客马拉松设有 200,000 美元的总奖金池，每个赛道的前两名提交各获 10,000 美元奖励，四个最佳整体提交可获得 25,000 美元的大奖。提交时间为 3 月 17 日至 4 月 16 日，结果将在 6 月 1 日公布。

Sources