Anthropic 연구: 사전 학습을 통한 언어 모델 분해

Anthropic는 특정한 해석 가능한 개념을 나타내는 '특징'(뉴런 활성화의 선형 조합)을 식별하기 위해 사전 학습을 사용한 언어 모델 분해 방법을 소개했다. 이 접근법은 고차원적 활성화를 단일 의미의 분석 단위로 분해함으로써 트랜스포머 모델의 내부 표현을 이해할 수 있게 한다.

사전 학습과 단일 의미성의 개념

사전 학습은 뉴런 층을 더 많은 수의 특징으로 분해하는 데 사용된다. 제시된 연구에서 Anthropic는 512개의 뉴런을 가진 층을 4,000개 이상의 특징으로 분해했다. 이 과정은 단일 뉴런이 인공지능 모델의 내부 논리에 대한 가장 효과적인 분석 단위가 아닐 수 있음을 보여주며, 개별 뉴런을 고립시켜 관찰할 때 많은 모델 특성이 보이지 않는다는 점을 드러낸다.

트랜스포머 모델 내 해석 가능한 특징

이러한 특징을 식별함으로써 연구자들은 다의미적 뉴런(여러 관련 없는 개념에 대해 활성화되는 뉴런)에서 단일 의미적 특징(단일 명확한 개념을 나타내는 단위)으로 전환할 수 있다. 그들의 소규모 트랜스포머 모델에서 식별된 특징은 다음과 같은 다양한 개념의 특정 범위와 관련이 있다:

• DNA 서열
• 법적 언어
• HTTP 요청
• 히브리어 텍스트
• 영양 성분 정보

신경망 해석 가능성에 대한 함의

이 연구는 신경과학, 머신러닝, 통계학 분야에서 고차원 시스템을 해석하려는 기존 노력에 기반을 두고 있다. 이러한 분석 단위를 찾는 기계를 제공함으로써 Anthropic는 복잡한 신경망을 인간이 이해할 수 있는 부분들로 분해하는 길을 열고자 하며, 최첨단 모델이 정보를 처리하는 방식에 대한 투명성을 높이려 한다.