Google DeepMind는 인공 일반 지능(AGI)으로의 진전을 측정하기 위한 과학적 기반을 제공하기 위해 인지 프레임워크와 분류 체계를 도입했습니다. 이 프레임워크는 심리학, 신경과학, 인지 과학 연구를 활용하여 AI 시스템에서 일반 지능을 평가할 실증적 도구가 부족한 문제를 해결하고자 합니다.

Google DeepMind, AGI 향상 측정을 위한 인지 프레임워크

일반 지능을 위한 인지 분류 체계

1. Perception: 환경으로부터 감각 정보를 처리하고 추출합니다.
2. Generation: 행동, 말, 텍스트 등을 포함한 출력을 생성합니다.
3. Attention: 관련 정보에 인지 자원을 집중하는 능력.
4. Learning: 교육과 경험을 통해 새로운 지식을 습득합니다.
5. Memory: 시간에 걸쳐 정보를 저장하고 회수합니다.
6. Reasoning: 논리적 추론을 사용해 타당한 결론을 도출합니다.
7. Metacognition: 자신의 인지 과정을 모니터링하고 인식하는 능력.
8. Executive functions: 인지적 유연성, 억제, 계획 수립.
9. Problem solving: 특정 분야 문제에 대한 효과적인 해결책을 찾는 것.
10. Social cognition: 사회적 정보를 해석하고 사회적 상황에 적절히 대응합니다.

3단계 평가 프로토콜

AI 성능을 인간 능력과 비교하기 위해, Google DeepMind는 3단계 평가 프로토콜을 제안합니다:

• Stage 1: 각 능력에 대한 광범위한 인지 과제 집합을 사용해 AI 시스템을 평가하고, 데이터 오염을 방지하기 위해 보류된 테스트 세트를 활용합니다.
• Stage 2: 성인 인구를 대표하는 인구통계학적 표본을 사용해 동일 과제에 대한 인간 기준치를 수집합니다.
• Stage 3: 각 특정 능력에 대한 인간 성능 분포와 비교하여 AI 시스템의 성능을 매핑합니다.

Kaggle 해커톤을 통한 구현

Google DeepMind는 "Measuring progress toward AGI: Cognitive abilities" 해커톤을 통해 이 이론적 프레임워크를 실천에 옮기기 위해 Kaggle과 협력하고 있습니다. 이번 대회는 연구 커뮤니티가 현재 평가 격차가 가장 큰 다섯 가지 인지 능력(학습, 메타인지, 주의, 실행 기능, 사회적 인지)에 대한 평가를 설계하도록 초대합니다.

참가자들은 Kaggle의 Community Benchmarks 플랫폼을 활용해 최첨단 모델에 대한 평가를 테스트합니다. 해커톤은 총 $200,000의 상금 풀을 제공하며, 다섯 트랙 각각에서 상위 두 제출물에 $10,000, 전체 최우수 네 제출물에 $25,000의 그랜드 상금을 수여합니다. 제출 기간은 3월 17일부터 4월 16일까지이며, 결과는 6월 1일에 발표됩니다.