word2vec가 배우는 것: 특징 학습에 대한 폐쇄형 이론

BAIR 연구원들은 word2vec의 학습 과정을 정량적이고 예측 가능한 이론으로 제시했으며, 특정 실용적인 상황에서 학습 문제가 가중치가 없는 최소제곱 행렬 분해로 귀결된다는 것을 증명했습니다. 연구 결과에 따르면 최종 학습된 표현은 말뭉치 통계에서 도출된 목표 행렬에 대한 주성분 분석(PCA) 결과와 동일합니다.

최소 언어 모델로서의 word2vec

word2vec는 대조 학습을 통해 단어의 밀집 벡터 표현을 학습하는 기본 알고리즘입니다. 얻어진 임베딩은 벡터 사이의 각도를 통해 의미 관계를 포착하며, 종종 성별, 동사 시제, 방언과 같은 해석 가능한 개념을 서브스페이스가 인코딩하는 선형 구조를 보입니다. 이러한 “선형 표현 가설”은 모델이 유추 문제(예: “man : woman :: king : queen”)를 해결할 수 있게 하는 핵심 요인으로, 현대 대형 언어 모델(LLM)에서도 관찰되는 현상입니다.

word2vec는 본질적으로 자기지도형 경사 하강법으로 훈련되는 두 층 선형 네트워크이며, 통계적 규칙성을 모델링하는 최소 신경 언어 모델로 볼 수 있습니다. 그 특징 학습을 이해하는 것은 보다 복잡한 언어 모델링 작업을 이해하기 위한 전제 조건으로 여겨집니다.

이산 학습 단계 이론

연구진은 임베딩 벡터가 무작위로 초기화되고 원점에 매우 가깝게 시작될 때, 모델이 “개념”(직교 선형 서브스페이스)을 하나씩 순차적인 이산 단계로 학습한다는 것을 증명했습니다.

순위 증가 역학

각 새롭게 실현된 선형 개념은 임베딩 행렬의 랭크를 하나씩 증가시킵니다. 이 과정은 단어 임베딩이 차원이 점점 늘어나는 서브스페이스로 확장되어 의미를 보다 풍부하게 표현할 수 있게 합니다. 일단 학습된 선형 서브스페이스는 회전하지 않으므로, 모델이 학습한 특징으로 작용합니다.

폐쇄형 특징 계산

이러한 특징은 목표 행렬 $M^$의 고유벡터로서 사전에 폐쇄형으로 계산될 수 있습니다. $M^$는 다음과 같이 정의됩니다:

$$M^*{i,j} = \frac{P(i,j) - P(i)P(j)}{\sqrt{2(P(i,j) + P(i)P(j))}}$$

여기서:

  • $i$와 $j$는 어휘의 단어 인덱스입니다.
  • $P(i,j)$는 단어 $i$와 $j$의 동시 발생 확률입니다.
  • $P(i)$는 단어 $i$의 unigram 확률입니다.

위키피디아 통계에 적용하면 상위 고유벡터가 연예인 전기, 정부 행정, 지리적 설명과 같은 해석 가능한 주제 수준 개념에 대응함을 확인할 수 있습니다.

이론적 근사와 실증 검증

폐쇄형 해를 얻기 위해 연구진은 네 가지 완화된 근사를 적용했습니다:

  1. 원점 주변에서 목적 함수를 4차식으로 근사.
  2. 알고리즘 하이퍼파라미터에 대한 특정 제약.
  3. 충분히 작은 초기 임베딩 가중치.
  4. 거의 0에 가까운 경사 하강 단계.

핵심은 이러한 근사들이 데이터 분포와 무관하므로 이론이 분포에 독립적이라는 점입니다.

성능 비교

이론의 타당성은 표준 유추 완성 벤치마크에서의 실험 결과로 뒷받침됩니다:

  • Original word2vec: 68% 정확도
  • Approximate model (studied in theory): 66% 정확도
  • Standard classical alternative (PPMI): 51% 정확도

추상적 표현에 대한 함의

이 이론을 활용해 추상적인 선형 표현(예: 남성/여성 같은 이진 개념)의 등장 과정을 분석했습니다. 연구진은 word2vec가 이러한 표현을 잡음이 섞인 학습 단계의 연속으로 구축하며, 그 기하학적 구조가 스파이크된 랜덤 행렬 모델에 의해 설명된다고 밝혔습니다. 학습 초기에는 의미 신호가 지배하지만, 학습이 진행될수록 잡음이 우세해져 선형 표현을 구분하는 모델의 능력이 저하될 수 있습니다.

Sources