Anthropic 해석 가능성 확장(Scaling Interpretability)의 엔지니어링 과제

Anthropic은 해석 가능성 연구를 더 큰 모델로 확장하고 있으며, 주요 병목 현상이 이론적 연구에서 분산 시스템 엔지니어링으로 이동하고 있습니다. 이러한 전환은 소규모 트랜스포머 실험에서 Claude 3 Sonnet과 같은 모델을 분석하는 단계로 나아가기 위해 필수적입니다. 연구자들은 이 모델에서 수천만 개의 "features"(의미론적 개념을 나타내는 뉴런 조합)를 식별했습니다.

희소 오토인코더(Sparse Autoencoders)를 위한 분산 데이터 셔플링

희소 오토인코더(SAEs)의 학습을 확장하려면, 순서에 의존하는 가짜 패턴을 학습하는 것을 방지하기 위해 트랜스포머 활성화 데이터셋의 방대한 양을 셔플링할 수 있어야 합니다. 단일 GPU에 들어가는 데이터의 경우 셔플링이 간단하지만, 데이터셋이 페타바이트 규모에 도달하면 중요한 엔지니어링 과제가 됩니다.

셔플링 파이프라인의 진화

Anthropic은 처음에 데이터를 $K$개의 작업으로 나누고, 각 작업이 전체 학습 데이터셋을 스트리밍 방식으로 읽어 자신의 몫에 해당하는 출력을 쓰는 단순한 분산 셔플링 방식을 사용했습니다. 이 방식은 데이터셋이 100TB(1,000억 개의 데이터 포인트)로 커지면서 비효율적이 되었고, 셔플링에 며칠이 걸리게 되었습니다.

이를 해결하기 위해 Anthropic은 다중 패스(multi-pass) 분산 셔플링을 구현했습니다:

첫 번째 패스: $N$개의 작업이 각각 데이터셋의 $1/N$을 읽고, 이를 로컬에서 셔플링한 후, $K$개의 별도 파일(각 파일은 데이터의 $1/NK$를 포함)에 데이터를 씁니다.
이후 패스: 모든 작업의 첫 번째 파일들이 모여 최종 셔플링된 데이터의 첫 $1/K$를 나타내게 됩니다. 만약 이 샤드(shard)들이 여전히 메모리 제한을 초과한다면, 프로세스가 반복됩니다.

이 방법은 패스당 셔플링 크기를 100배 줄여주며(100GB 메모리와 1GB 출력 파일을 가정할 때), 팀이 4번의 패스를 통해 100GB에서 100PB까지 확장할 수 있게 해줍니다.

특징(Feature) 시각화 파이프라인 엔지니어링

특징(feature) 시각화 데이터를 생성하는 작업—연구자들이 어떤 토큰이 특정 특징을 가장 강력하게 활성화하는지 볼 수 있게 해주는 작업—은 1억 개의 토큰이 담긴 데이터셋에서 수백만 개의 특징을 처리해야 합니다.

분산 데이터 처리 워크플로우

수백만 개의 특징을 처리하기 위해 Anthropic은 샤딩(sharding) 처리 파이프라인을 활용합니다:

초기 샤딩: 시스템은 데이터셋과 특징 모두에 대해 샤딩을 수행합니다. 각 작업은 특정 특징 및 데이터 슬라이스에 대해 상위 $K$개의 활성화 토큰과 $10K$개의 무작위 활성화 토큰을 추적합니다.
집계(Aggregation): 시스템은 특징을 기준으로 샤딩하여 이전 패스의 결과를 집계하고, 각 특징에 대한 전역적 상위 활성화 토큰을 식별합니다.
문맥적 활성화 분석(Contextual Activation Analysis): 특징이 주변 토큰에서 어떻게 발화하는지 계산하기 위해, 팀은 데이터셋 전체에 걸친 무작위 읽기를 피하기 위해 2단계 프로세스를 구현했습니다:
- 데이터셋 샤딩 패스: 각 작업은 트랜스포머 활성화 데이터셋의 슬라이스를 처리하고, 특정 특징 그룹에 필요한 활성화 값을 별도 파일로 저장합니다. 나머지 내용은 다음과 같습니다:
- 특징 샤딩 패스: 작업들은 이 통합된 파일들에 접근하여 최종 활성화 값을 계산하고 프론트엔드 시각화 도구용 데이터를 포맷팅합니다.

AI 안전을 위한 연구와 엔지니어링의 통합

Anthropic은 연구와 엔지니어링을 분별할 수 없는 구성 요소로 간주합니다. 팀은 인프라에 대규모 투자를 하기 전에 연구 가설이 소규모 실험에서 초기 성공을 보인 후에만 인프라를 집중적으로 구축하는 반복적인 사이클을을 따릅니다.

팀 구성 및 전략

해석 가능성 팀은 신경과학, 수학, 생물학, 물리, 데이터 시각화, 소프트웨어 엔지니어링 등 다양한 배경을 가진 18명의 멤버로 구성되어 있습니다. 그들의 연구 로드맵은 Anthropic의 책임 있는 확장 정책(Responsible Scaling Policy, RSP)을 따릅니다. 이 정책은 더 높은 성능의 모델을 배포포하기 전에 특정 안전 마일스톤을 달성할 것을 요구합니다. 이러한 탐구적 연구는 해당 안전 마일스톤에 직접적인 영향을 미도록 설계되었으며, 모델의 내부 구조를 이해하는 능력이 모델의 성능과 함께 확장되도록 보장합니다.