Anthropic Softmax Linear Units (SoLU) 연구

Anthropic은 MLP 레이어의 표준 활성화 함수를 대체하여 인간이 이해할 수 있는 개념, 구절 또는 범주에 반응하는 뉴런의 수를 늘리는 Softmax Linear Units (SoLU)를 도입했습니다. 이러한 구조적 변화는 전체적인 머신러닝 성능에 큰 비용을 없이 모델의 해석 가능성을 향상시킵니다.

The Softmax Linear Unit (SoLU) 아키텍처

SoLU는 트랜스포머의 Multi-Layer Perceptron (MLP) 레이어에서 전통적인 활성화 함수를 대체하도록 설계되었습니다. Anthropic 연구원들은 이 변화를 구현함으로써 MLP 뉴런의 훨씬 더 높은 비율이 "해석 가능"해진다는 것을 발견했습니다. 즉, 입력 데이터의 특정하고 명확하게 설명할 수 있는 속성에 반응한다는 의미입니다.

뉴런 해석 가능성에 미치는 영향

Anthropic이 수행한 무작위 및 블라인드 실험에 따르면 SoLU 모델은 인간이 더 쉽게 이해할 수 있는 내부 상태를 보여줍니다. 이러한 모델의 뉴런은 명확한 범주나 구절에 대응할 가능성이 더 높으며, 이는 연구자들이 모델이 정보를 어떻게 처리하는지 이해하는 것을 더 쉽게 만듭니다.

트랜스포머 정보 처리의 함의

SoLU 모델을 사용하여 연구원들은 트랜스포머 내에서 정보가 어떻게 처리되는지에 대한 새로운 통찰력을 얻었습니다. 그러나 이 연구는 모델의 특징 표현(feature representation)에 관한 기술적 트레이드오프를 또한 밝혀냈습니다.

중첩 가설(Superposition Hypothesis)과 특징 숨김

Anthropic의 연구는 SoLU가 중첩 가설을 입증할 수 있음을 나타냅니다. 증거에 따르면 SoLU는 특정 특징을 특정 뉴런에 격리함으로써 일부 특징을 더 해석 가능하게 만들지만, 동시에 다른 특징을 "숨겨" 남은 해석 불가능한 특징들을 더욱 깊게 가릴 수 있습니다.

이러한 트레이드오프에도 불구하고, 연구원들은 SoLU가 인간이 실질적으로 이해할 수 있는 뉴런의 총 비율을 상당히 증가시키기 때문에 해석 가능성 연구에 있어 실질적인 이득이라고 결론지었습니다.