Demis Hassabis Proposes Frontier AI Safety Framework

Demis Hassabis는 인공 일반 지능(AGI)으로의 전환이 안전과 보안을 보장하기 위해 특화된 규제 프레임워크가 필요하다고 제안합니다. 그는 인간 뇌의 모든 인지 능력을 보여주는 시스템으로 정의되는 AGI가 불과 몇 년 안에 도래할 가능성이 높으며, 이에 따라 업계의 자율 규제에서 정부가 지원하는 구조화된 감독 시스템으로의 전환이 필요하다고 주장합니다.

A New Model for AI Oversight

혁신과 안전 사이의 균형을 맞추기 위해, Hassabis는 Financial Industry Regulatory Authority (FINRA)에서 영감을 얻은 규제 기관을 설립할 것을 제안합니다. 이 모델은 표준 정부 기관이 아닌 정부의 감독 하에 운영되는 민간 기관을 제안합니다. Hassabis는 표준 정부 기관이 AI 개발 속도를 따라잡기에 너무 느리고 필요한 기술적 자원을 부족할 것이라고 주장합니다.

Defining "Frontier AI"

미국과 EU가 이전에 제안했던 방식처럼 연산 능력(compute power)을 규제의 주요 지표로 사용하는 대신, Hassabis는 선택된 벤치마크 세트에서의 성능을 기준으로 모델을 "frontier"로 지정할 것을 제안합니다.

이 프레임워크 하에서:

• Frontier Labs: 이러한 특정 벤치마크 임계값을 충족하는 모델을 생성하는 기업은 "frontier labs"로 지정될 것입니다.
• Increased Responsibility: 이러한 연구소들은 기술적 세부 사항이 포함된 model cards를 발행하고, 엄격한 내부 사이버 보안을 유지하며, 핵심 인력을 검증하는 등의 추가적인 책임을 지게 됩니다.

Critical Analysis and Community Response

기술 커뮤니티와 비평가들은 이 제안의 실현 가능성과 동기에 대해 몇 가지 우려를 제기하고 있습니다. 특히 규제 포획(regulatory capture)과 벤치마크 기반 감독의 기술적 한계에 초점을 맞추고 있습니다.

Regulatory Capture and Market Gatekeeping

많은 비평가들은 선도적인 AI 연구소들이 규제를 요구하는 것이 시장 점유율을 보호하고 소규모 경쟁업체 및 오픈 소스 프로젝트에 대한 진입 장벽을 만들기 위한 전략적 움직임이라고 주장합니다.

"Not surprised, seems these labs start calling for regulation once they are losing or have competition... Google is now calling it for it because they are falling far behind."

다른 이들은 미국 중심의 규제가 다른 글로벌 강국들이 유사한 제약 없이 AGI를 계속 개발한다면 효과가 없을 수 있다고 제안합니다.

The "Goodhart's Law" Risk

관찰자들은 특정 벤치마크를 규제 트리거로 사용하는 것이 왜곡된 인센티브 구조를 초래할 수 있다고 지약합니다. Goodhart's Law에 따르면, 어떤 척도가 목표가 되면, 그것은 더 이상 좋은 척도가 아니게 됩니다. 비평가들은 모델 제작자들이 "frontier lab" 지정을 피하기 위해 특정 벤치마크에서 규제 임계값 바로 아래로 성능을 최적화하여, 다른 영역에서의 능력은 극대화하면서도 지정을 받지 않으려는 의도적인 최적화 작업을 할 수 있다고 주장합니다.

Technical and Philosophical Gaps

만약 AGI가 정말로 임박했다면, model cards나 인력 검증과 같은 제안된 안전 조치들은 불충분할 수 있다고 일부는 주장합니다. 시스템이 모든 인간의 인지 능력을 보여줄 수 있다면, 비평가들은 실제적인 도전 과제는 기술적 문서화가가 아니라 근본적인 경제적 및 철학적 변화라고 제안합니다. 여기에는 다음이 포함됩니다:

• 포스트 스카시티(post-scarcity) 세계를 위한 새로운 경제 모델의 구축.
• 합성 지능(synthetic intelligences)에 대한 권리 결정.
• 사회적 고통을 방지하기 위한 기존 자원의 재분배.

Skepticism of AGI Timelines

AGI가 불과 몇 년 안에 도래할 한다는 주장에는 상당한 회의론이 존재합니다. 일부 사용자들은 현재 Large Language Models (LLMs)의 한계를 지적하며, 이들이 여전히 기본적인 진단 정확도와 신뢰성 측면에서 어려움을 겪고 있다는 점을 주목하며, "AGI가 임박했다"는 서사는사가기 위해 불필요하거나 추측성 규제를 정당화하기 위해 사용될 수 있다고 제안합니다.