Attention Is Not What You Need: Grassmann Manifold Architectures
핵심 개념: 셀프 어텐션을 Grassmann 흐름으로 대체
논문 "Attention Is Not What You Need" (arXiv:2512.19428)는 시퀀스 모델링에서 명시적인 셀프 어텐션의 필요성에 의문을 제기합니다. 저자들은 표준 멀티 헤드 어텐션이 은닉 벡터를 쌍별 상호작용의 고차원 공간으로 매핑하는 일종의 "텐서 리프팅(tensor lifting)"으로 기능한다고 주장합니다. 표현력은 뛰어나지만, 이 접근 방식은 수학적으로 불투명하여 모델 동작에 대한 명시적인 불변량을 정의하기 어렵게 만듭니다.
이를 해결하기 위해 저자들은 인과적 Grassmann 레이어를 제안합니다. L-by-L 어텐션 행렬을 구성하는 대신, 이 아키텍처는 다음을 수행합니다:
- 토큰 상태를 선형적으로 축소합니다.
- Plucker 좌표를 사용하여 로컬 토큰 쌍을 Grassmann 매니폴드 상의 2차원 부분 공간으로 인코딩합니다.
- 이러한 기하학적 특징을 게이트 믹싱을 통해 은닉 상태로 다시 융합합니다.
구조화되지 않은 텐서 공간이 아닌 유한 차원 매니폴드에서 작동함으로써, 모델은 로컬 윈도우에 걸쳐 저랭크 부분 공간의 제어된 변형을 통해 정보를 전파합니다. 이 접근 방식은 고정된 랭크에 대해 시퀀스 길이에 따른 선형 확장을 달성합니다.
성능 및 벤치마킹
제안된 아키텍처는 표준 Transformer에 대한 실행 가능성을 입증하기 위해 두 가지 주요 벤치마크에서 평가되었습니다:
- Wikitext-2: 1,300만에서 1,800만 개의 파라미터를 가진 순수 Grassmann 기반 모델은 크기가 일치하는 Transformer의 10~15% 이내의 검증 퍼플렉서티(perplexity)를 달성했습니다.
- SNLI (자연어 추론): DistilBERT에 적용된 Grassmann-Plucker 헤드는 0.8550의 검증 정확도와 0.8538의 테스트 정확도를 달성하여, 표준 Transformer 헤드(각각 0.8545 및 0.8511)를 약간 상회했습니다.
커뮤니티 비평 및 기술적 고려 사항
이 연구는 방법론, 규모, 그리고 연구 발표 방식과 관련하여 기술 커뮤니티 내에서 논쟁을 불러일으켰습니다. 비평가들은 다음과 같은 몇 가지 우려 사항을 제기했습니다:
- 규모 및 일반화: 댓글 작성자들은 실험이 소규모 데이터셋과 모델에 국한되어 있다고 지적했습니다. 비평가들은 장난감 문제에서의 성능이 반드시 Transformer가 현재 지배하고 있는 대규모 학습 체제로 이어지는 것은 아니라고 주장합니다.
- 수학적 트레이드오프: 일부 관찰자들은 Grassmann 매니폴드를 사용하는 것이 트레이드오프를 수반한다고 지적했습니다. 모델이 부분 공간의 방향성은 보존하지만, 근본적인 선형 맵과 기저에 대한 정보는 손실될 가능성이 있기 때문입니다.
- 구현 세부 사항: 페어링 작업(zt, zt+Delta)과 관련하여 잠재적인 문제가 확인되었으며, 일부는 미래 토큰을 사용하여 다음 토큰을 예측하는 것이 제대로 처리되지 않을 경우 데이터 누출로 이어질 수 있다고 제안했습니다.
- 발표 및 엄밀성: Hacker News와 같은 플랫폼에서의 토론은 도식이나 그래프와 같은 시각적 보조 자료가 부족하다는 점을 강조했으며, 일부 독자들은 이것이 논문의 주장을 뒷받침하기 위해 필요하다고 느꼈습니다. 또한 저자의 확립된 학술적 발자취가 부족하다는 점에 대한 의문도 제기되어, 일부는 문서의 출처와 분석의 깊이를 면밀히 조사하게 되었습니다.
이 논문은 시퀀스 모델링에 대한 새로운 기하학적 관점을 제공하지만, 초기 리뷰어들 사이의 중론은 매니폴드 기반 설계가 현대 Transformer 아키텍처의 확장 효율성과 경쟁할 수 있는지 판단하기 위해 더 많은 증거가 필요하다는 것입니다.