Anthropic, 트랜스포머 잔차 스트림에서의 특권적 기저를 밝혀내다

TL;DR

Anthropic은 트랜스포머의 잔차 스트림 내 개별 좌표가 수학적으로 임의적인 것이 아니라, 특권적 기저와 정렬된다는 것을 발견했습니다. 그들은 이 현상을 레이어 정규화(layer normalization)나 부동 소수점 정밀도보다는 주로 Adam의 차원별 정규화 인자(per-dimension normalizers) 때문인 것으로 보고 있습니다.

핵심 발견: 기저 정렬(Basis Alignment)의 존재

경험적 분석에 따르면 잔차 스트림의 차원들은 체계적인 정보를 담고 있으며, 이는 기저 방향이 서로 교체 가능하고 특별한 의미를 갖지 않아야 한다는 이론적 기대와 상충됩니다.

조사된 원인

Adam 옵티마이저 정규화 인자

저자들은 Adam 옵티마이저의 차원별 정규화 인자를 관찰된 기저 정렬의 가장 그럴듯한 원인으로 잠정적으로 식별했습니다. Adam은 각 파라미터를 개별적으로 스케일링하며, 이는 학습된 표현(representations)에 일관된 방향성 편향을 도입할 수 있습니다.

레이어 정규화(Layer Normalization) 제외

실험을 통해 레이어 정규화가 특권적 기저 효과를 생성하지 않는다는 것을 보여주었습니다. 레이어 정규화 레이어를 변경하거나 제거해도 정렬 상태는 변하지 않으며, 이는 해당 방식이 원인이 아님을 나타냅니다.

유한 정밀도 산술(Finite-Precision Arithmetic) 제외

부동 소수점 정밀도(예: float32 vs. float64)를 변경하며 수행한 테스트 결과, 기저 정렬에 아무런 영향이 없음을 보여주어 저자들은 유한 정밀도 계산을 원인에서 확신을 가지고 배제할 수 있었습니다.

트랜스포머 이론에 미치는 영향

이 발견은 잔차 스트림의 좌표계가 임의적이라는 가정을 정면으로 반박합니다. 만약 옵티마이저의 역학이 기저에 구조를 각인시킨다면, 트랜스포머의 표현 기하학(representation geometry)을 분석할 때 이론적 모델은 옵티마이저로 인한 비등방성(anisotropy)을 반드시 고려해야 합니다.

더 넓은 맥락

Anthropic은 이 연구를 다음과 같은 다른 프런티어 모델 조사와 함께 배치합니다:

• Emerging Multi-Agent Systems – 시스템적 실패를 유발할 수 있는 행동 패턴을 탐구합니다.
• Worker Retraining Evidence Review – 외부 연구자들과 공동 저술한 정책 지향적 검토 보고서입니다.
• Claude’s Mathematical Capabilities – 리만 가설과 관련된 경계를 발전시킨 Claude의 연구용 버전을 강조합니다.

이 링크들은 기술적 측면과 사회적 측면 모두에서 고급 AI에 대한 Anthropic의 광범위한 초점을 보여줍니다.

결론

특권적 기저 현상은 레이어 정규화나 수치적 정밀도가 아닌, Adam의 차원별 스케일링과 연관된 것으로 보입니다. 옵티마이저 주도형 기저 편향을 인식하는 것은 트랜스포머 내부 구조의 정확한 이론적 모델링을 위해 필수적이며, 향후 아키텍처 및 학습 알고리즘 설계에 영향을 미칠 수 있습니다.