연관 메모리로서의 트랜스포머 아키텍처 이해

MLP 및 셀프 어텐션 레이어를 포함한 현대의 트랜스포머 아키텍처는 직관적으로 연관 메모리 저장소로 이해할 수 있습니다. 이러한 레이어를 키-값 쌍을 저장하고 검색하는 메커니즘으로 간주함으로써, 저장된 메모리가 대상 사실의 검색을 얼마나 방해하는지를 정량화하는 지표인 간섭 대 신호 비율(interference-to-signal ratio)을 기반으로 용량 한계를 도출할 수 있습니다.

선형 메모리 저장소

가장 기본적인 메모리 저장소는 외적(outer product)을 사용하여 메모리를 누적하는 선형 레이어입니다: $W = \sum_{i=1}^{M} v_i k_i^T$. 이 모델에서 쿼리 $x$는 쿼리와 모든 저장된 키 간의 유사도를 계산하여 값을 검색하며, 이러한 유사도에 의해 가중치가 부여된 값의 합을 반환합니다.

그러나 이 접근 방식은 간섭 문제를 겪습니다. $M$개의 메모리를 저장할 때, 대상 키 $k_j$에 대한 호출은 $f(k_j) = v_j + \sum_{i\neq j} v_i(k_i^T k_j)$가 됩니다. $M$이 증가함에 따라 간섭 항이 누적됩니다. 무작위 키의 경우, 간섭이 신호와 일치하는 지점인 용량은 대략 $M \approx d_k$이며, 여기서 $d_k$는 키 차원입니다.

최적 선형 저장소 및 MLP를 통한 용량 개선

메모리에 쓰고 읽는 방식을 개선하여 용량을 높일 수 있습니다. 최적 선형 저장소는 최소제곱법을 사용하여 키를 "화이트닝(whiten)"함으로써 간섭을 효과적으로 상쇄하고 용량을 $M \approx 2d_k$로 두 배 늘립니다.

MLP는 간섭을 추가로 억제하는 비선형성을 도입합니다. 유사도를 ReLU나 제곱 ReLU와 같은 함수 $\sigma$를 통해 전달함으로써, 모델은 그렇지 않으면 노이즈로 작용할 낮은 유사도의 키를 억제합니다.

• ReLU MLP: 음의 유사도를 0으로 만들어 간섭 분산을 줄이고 용량을 $M \approx 2d_k$까지 높입니다.
• 제곱 ReLU (GLU/SwiGLU): 낮은 유사도의 키를 추가로 억제하여 $d_k^2$에 비례하는 훨씬 더 높은 용량을 확보할 수 있습니다.

이러한 발견은 트랜스포머의 피드포워드 레이어가 뉴런이 인식 가능한 입력 패턴에 따라 활성화되는 키-값 저장소로 기능한다는 연구 결과와 일치합니다.

비모수적 메모리로서의 셀프 어텐션

셀프 어텐션은 소프트맥스 함수를 사용하여 가중치 검색을 수행함으로써 이 접근 방식의 한계를 나타냅니다. 키와 값이 고정된 매개변수인 MLP와 달리, 셀프 어텐션은 입력 토큰으로부터 이를 계산하므로 컨텍스트 길이에 따라 용량이 확장되는 비모수적 저장소가 됩니다.

소프트맥스에 내재된 지수 함수를 사용함으로써 셀프 어텐션은 엄청난 용량을 달성할 수 있습니다. $\beta = \sqrt{d_k}$로 스케일링할 때, 용량은 다항식이 아닌 지수적으로 증가하여 표준 구성에서 백만 개 이상의 메모리에 도달합니다. 긴 컨텍스트 시나리오에서 이러한 성능을 유지하기 위해 모델은 종종 $\log M$ 휴리스틱(Qwen이나 YaRN에서 볼 수 있는 것과 같은)을 사용하여 어텐션 로짓을 스케일링하며, 이는 컨텍스트가 커짐에 따라 간섭 대 신호 비율을 안정적으로 유지합니다.

통찰 및 토론

이 프레임워크는 통신 공학과 딥러닝 사이의 가교 역할을 합니다. 커뮤니티 토론에서 언급되었듯이, "간섭 대 신호" 관점은 전기 공학자들에게 매우 익숙하며, 이는 채널 용량을 극대화하기 위한 기술이 신경망이 정보를 저장하는 방식을 이해하는 데 직접적으로 적용될 수 있음을 시사합니다.

수학적 추상화는 강력하지만, 일부 실무자들은 이러한 시스템을 이해하기 위해 구체적인 예시가 필요하다고 강조합니다. LLM 맥락에서 "키"는 컨텍스트 윈도우 내의 토큰이며, "값"은 모델이 후속 토큰을 예측하는 데 사용하는 해당 은닉 상태 표현입니다. 한 댓글 작성자가 언급했듯이, 기존 홉필드 네트워크(Hopfield networks)와 비교했을 때 트랜스포머의 효율성은 반복적인 수렴을 요구하는 대신 단일 순방향 패스(forward pass)로 메모리를 검색할 수 있는 능력에 있습니다.

결국, 트랜스포머를 메모리 저장소로 보는 것은 이 모델들의 지능이 치명적인 간섭 없이 방대한 양의 정보를 압축하고 검색하는 능력과 깊이 연관되어 있음을 강조합니다.