인텔리전트 제안: AI 측정을 위한 NIST 예산 증대

Anthropic는 미국 정부가 국립 표준 기술 연구소(NIST)의 AI 측정 및 표준화 노력 지원을 위해 연방 예산을 적극적으로 증대할 것을 제안한다. 이 투자는 효과적인 AI 규제를 위해 필수적인 전제 조건으로, AI 시스템의 능력과 위험을 객관적으로 측정할 수 있는 능력이 안전 기준을 충족시키기 위해 필요하다고 설명한다.

측정의 역할과 AI 정책

효과적인 AI 거버넌스를 위해서는 시스템의 위험과 능력을 정확하게 설명하고 측정할 수 있어야 한다. Anthropic는 측정 도구가 객관적 평가를 가능하게 하는 주요 수단이라고 주장하며, "측정할 수 없는 것은 관리할 수 없다"고 말한다.

이러한 표준화된 측정의 필요성은 다음과 같은 요인들에 의해 촉발된다:

• 예측 불가능한 잠재적 특성의 등장: 더 큰 규모의 모델을 훈련하는 과정에서 갑작스럽게 위험 요소나 능력이 나타나거나, 배포 후에야 발견되는 경우가 있다.
• 표준화된 방법 부족: AI 분야는 이러한 위험을 포괄적으로 평가할 수 있는 널리 인정된 방법이 부족하다.
• 예측 불가능성: 개방형 AI 시스템은 예측할 수 없는 방식으로 행동하는 경우가 많아 개발 과정에서 모든 잠재적 위험을 예측하기 어렵다.

NIST의 기반과 현재의 예산 격차

NIST는 100년 이상의 측정 인프라 구축 역사를 가진 자연스러운 기관으로 지목된다. 이 기관은 이미 AI Risk Management Framework, Face Recognition Vendor Test, MNIST 손글씨 인식 데이터셋과 같은 기초 작업을 수행해 왔다.

이러한 기반에도 불구하고, Anthropic는 최근 몇 년간 NIST의 AI 관련 프로그램에 대해 "일반적인 자원 부족과 우려되는 정체성"이 존재한다고 지적한다. 이를 해결하기 위해, Anthropic는 FY 2023 기준으로 1,500만 달러의 예산 증대를 제안하며, 이는 NIST 자체가 요청한 500만 달러 증액을 포함한다.

증대 투자의 전략적 이점

의도적인 투자로 NIST는 분야 전반에 걸쳐 측정 기법을 표준화하고, 개방형 AI 시스템의 능력과 위험을 평가할 수 있는 공동체 자원(예: 테스트베드)을 구축할 수 있다. Anthropic는 이 투자의 다섯 가지 주요 이점을 제시한다:

1. 안전성 향상: 엄격한 테스트를 통해 시스템을 공개하기 전에 위험을 식별하고 완화할 수 있다.
2. 공공 신뢰 증대: 제3자 독립 검증을 통해 공공의 신뢰를 높일 수 있다.
3. 정부 신뢰 증대: 정부는 고도의 시스템이 일반 대중 사용에 안전하다는 데 대해 더 높은 신뢰를 가질 수 있다.
4. 혁신 촉진: 개발자들은 더 나은 기술을 개발하고 기술의 경계를 넓히는 데 동기를 부여받는다.
5. 시장 창출: 시스템 인증 시장이 형성되며 개발자들에게 긍정적인 인센티브를 제공할 수 있다.

거버넌스의 포트폴리오 접근법에의 통합

Anthropic는 측정과 기술 표준이 모든 AI 위험에 대한 "만능 해법"이 아니라고 명확히 한다. 대신, "포트폴리오 접근법"을 지지한다. 이 틀 안에서 엄격한 시스템 평가는 다음과 같은 다른 안전 장치들과 보완된다:

• 개발 연구소 내 강력한 내부 통제 및 거버넌스 관행.
• 독립 기관의 정기적 감사.
• 공공의 이익을 기반으로 한 규제 및 입법 프레임워크.