KV 캐시를 넘어: LLM에서 수면과 유사한 통합 구현하기

대규모 언어 모델(LLM)에서 장기 기억을 관리하는 문제는 오랫동안 병목 현상이 되어 왔습니다. Key-Value (KV) 캐시는 모델이 현재 대화의 단기적인 '작업 기억'을 유지할 수 있게 해주지만, 계산 비용이 많이 들고 용량이 제한적입니다. 최근 '수면과 유사한 통합 메커니즘'을 제안하는 연구 논문은 모델이 정보를 처리하는 방식의 변화를 제안합니다: 일시적인 컨텍스트 창에서 지속적인 가중치 업데이트로의 전환입니다.

이 접근 방식은 뇌가 단기 경험을 장기 기억으로 통합하는 생물학적 수면 과정을 모방하는 것을 목표로 합니다. AI의 맥락에서 이는 주기적으로 활성 추론 단계를 중단하고 축적된 컨텍스트를 처리하여 모델의 가중치에 통합함으로써, KV 캐시를 비우고 어텐션의 이차 함수적 비용을 줄이는 것을 의미합니다.

오프라인 통합의 메커니즘

제안된 메커니즘의 핵심은 오프라인 순환 통합 단계입니다. 컨텍스트를 결국 넘쳐흐르게 될 정적인 버퍼로 취급하는 대신, 모델은 최근에 축적된 데이터에 대해 여러 번의 순방향 패스(forward passes)를 수행합니다. 이 정보는 State Space Model (SSM) 블록이나 유사한 구조 내의 'fast weights'를 업데이트하는 데 사용됩니다.

KV 캐시로부터 지식을 모델의 지속적인 상태로 전달함으로써, 시스템은 다음과 같은 기술적 이점을 얻습니다:

  • Reduced Inference Cost: KV 캐시를 비움으로써 모델은 매우 긴 컨텍스트와 관련된 이차 함수적 어텐션 비용을 피할 수 있습니다.
  • Persistent Memory: 컨텍스트 창을 초과하더라도 정보가 더 이상 손실되지 않습니다. 정보는 모델의 내부 상태로 통합됩니다.
  • Amortized Compute: 통합 작업의 무거운 작업은 '오프라인' 시간에 이루어지므로, 활성 추론 중의 사용자 경험은 빠르게 유지됩니다.

'수면 시간 계산'에 대한 대안적 접근 방식

이 메커니즘에 대한 논의는 몇 가지 관련 아키텍처 아이디어로 분기되었습니다. 한 가지 눈에 띄는 대안은 **E2E-TTT (Test-Time Training)**입니다. 이는 최근의 컨텍스트를 추가적인 학습 데이터로 취급하고 초기 학습 시 사용된 것과 동일한 프로세스를 사용하여 가중치를 업데이트합니다. 이를 통해 모델은 단순한 통합 단계보다 더 유연하게 새로운 분포에 적응할 수 있습니다.

또 다른 떠오르는 개념은 Letta 팀이 제안한 **"수면 시간 계산(Sleep-Time Compute)"**입니다. 이는 메모리 통합과는 다르며, 예측에 초점을 맞춥니다. 과거를 통합하는 대신, 모델은 잠재적인 사용자 쿼리를 예측하고 유용한 양을 미리 계산하기 위해 오프라인에서 컨텍스트에 대해 '생각'합니다. 이는 GSM-Symbolic 및 AIME와 같은 특정 추론 작업에서 테스트 시간 계산 요구 사항을 최대 5배까지 줄일 수 있으며, 최종 사용자에게 지연 시간을 크게 낮춰줍니다.

메모리 계층 구조 제안

일부 실무자들은 이상적인 LLM 아키텍처가 인간의 인지 능력과 유사하게 3단계 메모리 시스템을 반영해야 한다고 제안합니다:

  1. Stable Long-Term Memory: 모델의 초기 베이스 가중치.
  2. Mid-Term Memory: 오프라인 시간 동안 수행되는 압축, 리플레이 버퍼, 그리고 LoRA (Low-Rank Adaptation) 업데이트를 통해 구축된 동적 레이어.
  3. Short-Term Memory: 즉각적인 처리를 위해 사용되는 활성 KV 캐시.

이 프레임워크에서 '수면'은 단순히 시스템이 거대한 컨텍스트 창으로 인해 과부하되는 것을 방지하기 위해 이러한 레이어 간에 정보를 통합하고 전달하는 과정입니다.

비판적 관점: 의인화 vs. 엔지니어링

모든 연구자가 '수면'이라는 비유를 도움이 된다고 보지는 않습니다. 비판론자들은 이 용어가 '학술적 클릭베이트'라고 주장하며, 프로세스가 단순히 오프라인 순환 통합 단계일 뿐이라고 시사합니다. 한 관찰자는 다음과 같이 언급했습니다:

"전체 산업이 의인화에 너무나 갈망하고 있습니다. 논문이 설명하는 것은 오프라인 순환 통합 단계입니다... 그것은 수면과 전혀 관련이 없습니다."

이러한 관점에서는, 이 메커니즘즘은 컨텍스트 프루닝(context pruning) 및 최적화 문제에 대한 엔지니어링 솔루션입니다. 가중치 업데이트를를 모델의 생물학학적 낮잠과 비교하는 것은 모델의 실제 능력에 대한 객관적인 기술적 논의를 방점점으로부터 분사히는 것으로 보입니다.

결론

'수면'이라고 부르든 '오프라인 통합(offline consolidation)'이라고 부든, 동적 가중치 업데이트로의 전환은 LLM에서 더 뇌와 유사한 행동을 향하는 데 있어 중요한 단계입니다. 입력을 모델에 동적으로 통합하고 선택적 가소성을 구현함으로써, AI 시스템은 KV 캐시의 한계를 넘어 더 지속 가능한 형태의 에피소드 기억과 지속적인 학습으로 나아가갈 수 있습니다.

Sources