Engram CEO Dan Biderman이 AI 메모리 문제와 긴 컨텍스트만으로는 부족한 이유를 설명합니다
Engram CEO Dan Biderman이 AI 메모리 문제와 긴 컨텍스트만으로는 부족한 이유를 설명합니다
TL;DR
Engram의 Dan Biderman은 긴 컨텍스트 윈도우만으로는 AI 시스템에 신뢰할 수 있는 장기 메모리를 제공할 수 없으며, 대신 지식 카트리지에 지식을 압축하고 효율적인 지속 학습을 통해 모델 가중치를 지속적으로 업데이트해야 한다고 말합니다. 이 접근 방식은 토큰 효율적이고 비용 효율적인 AI를 약속하며, 트릴리언 토큰 규모의 코퍼스를 처리하고 개별 사용자에게 맞춤화할 수 있습니다.
1. 왜 긴 컨텍스트만으로는 충분하지 않은가
- 컨텍스트 부패: 토큰을 더 많이 추가하면 모델이 점점 더 혼란스러워집니다; 1천만 토큰 윈도우조차도 전체적인 추론을 보장하지 못합니다.
- 압축 한계: 현재 압축(덜 중요한 토큰을 제거하는)은 손실이 발생하며, 특히 깊은 세션에서 망각을 초래할 수 있습니다.
- 메모리 비효율성: 몇 킬로바이트짜리 기사를 LLaMA‑70B 모델에 로드하면 약 80 GB의 GPU HBM을 소비하게 되며, 이는 모델의 140 GB 파라미터 크기를 훨씬 초과합니다. KV‑캐시가 시스템 병목이 됩니다.
- 비용 폭발: 트릴리언 토큰 코퍼스에 대해 최첨단 모델을 쿼리하면 쿼리당 수천 달러가 들어, 기업 규모에서 RAG를 비현실적으로 만듭니다.
2. 지식 카트리지: 코퍼스를 모델 상태로 압축하기
- 개념: 대규모 코퍼스를 미리 모델에 학습시켜, 결과적인 뇌 상태(카트리지)가 지식을 매우 압축된 형태로 인코딩하도록 합니다—원시 텍스트보다 천 배 정도 작을 수 있습니다.
- 사용법: 추론 시 카트리지를 모델에 로드합니다; 모델은 훨씬 적은 토큰으로 추론할 수 있어 혼란과 비용을 줄입니다.
- 세분화: 카트리지는 작업‑특정(예: 특정 스킬) 또는 코퍼스‑특정(예: 기업 내부 문서)일 수 있습니다.
- 비유: 요리사가 요리책을 읽고 직관을 내면화하는 것과 같습니다; 카트리지는 원시 레시피를 넘어서는 “직관”을 포착합니다.
3. 지속 학습 & 테스트‑시간 훈련
- 목표: 기존 지식을 파괴하지 않으면서 새로운 데이터로 모델 가중치를 업데이트하여 토큰 효율성을 달성하고 장기 과제를 가능하게 합니다.
- 방법: 추론 중(테스트‑시간 훈련) 그래디언트 기반 업데이트를 수행해 모델이 실시간으로 최신 정보를 흡수하도록 합니다.
- 이점: 하나의 모델이 카트리지에 저장된 정적 지식과 동적인 사용자‑특정 업데이트를 모두 처리할 수 있게 합니다.
4. 토큰 효율성을 지능의 프록시로 삼기
- 전제: 더 똑똑한 AI는 더 적은 연산 사이클로 더 많은 일을 합니다; 토큰 효율성은 더 어려운 문제를 해결할 수 있는 능력과 직접적으로 연관됩니다.
- 라우팅: Engram은 가능한 경우 가장 작은 적합 모델(예: 저렴한 오픈‑소스 LLM)로 쿼리를 라우팅하고, 고부가가치 작업에만 큰 모델을 사용하려 합니다.
- 미래 비전: 사용자가 키우는 타마고치처럼 지속적으로 개선되는 개인 AI 에이전트—사용자는 에이전트를 양육하고, 에이전트는 지속적인 인간 감독 없이 적응합니다.
5. 기업 활용 사례
- 전체적인 쿼리: 수천 개 파일에 걸친 정보를 집계해야 하는 작업(예: “올해 미완료된 M&A 딜은 어떤 것이 있나요?”)은 단순 RAG로는 답할 수 없으며, 관계를 학습한 모델이 필요합니다.
- 비용 효율적 확장: 기업 지식을 카트리지로 압축하고 토큰 효율적인 추론을 사용함으로써 Engram은 순진한 RAG에 비해 훨씬 적은 비용으로 이러한 쿼리를 처리할 수 있습니다.
6. 열린 연구 질문
- 가중치와 텍스트 중 무엇을 어디에 두어야 할까? 어떤 사실을 내부화(가중치)하고 어떤 사실을 외부(검색 가능한 텍스트)로 남겨야 할지 결정하는 문제는 아직 해결되지 않은 과제로, 인간 기억 연구와 유사합니다.
- 자동 중요도 감지: Engram은 카트리지에 무엇을 저장할지 자동으로 결정하는 모델을 훈련하고 있으며, 수동적인 휴머노이드 “두더지 잡기” 문제를 피하려 합니다.
- 확장 가능한 인프라: 수백만 개의 개인화된 카트리지를 디바이스 전반에 배포하려면 새로운 API, 저장 포맷, 추론 파이프라인이 필요합니다.
7. 팀 & 문화
- Engram의 연구팀은 스탠포드, 버클리, 코넬 출신 박사들과 산업 베테랑들로 구성됩니다.
- 회사는 제품‑우선 마인드셋을 강조합니다: 연구는 기업용 및 궁극적으로 개인 디바이스용 실용적인 도구로 전환되어야 합니다.
- 채용 초점: 대규모, 비용 효율적인 AI 파이프라인을 구축할 수 있는 성능 엔지니어, 연구 엔지니어, 인프라 전문가.
8. 마무리 생각
- 효율성 ≠ 저렴함: 적게 사용하면서 더 많이 하는 것이 지능을 희생한다는 뜻은 아니며, 해결 가능한 문제의 범위를 넓혀 줍니다.
- 다음 패러다임: “스케일‑업”(더 많은 토큰, 더 큰 모델)에서 “스케일‑다운”(압축된 표현, 지속 학습)으로 전환하는 것이 장기 AI 메모리의 핵심입니다.
- 행동 촉구: Engram은 협업자, 투자자, 인재를 초대해 진정으로 기억하고 학습하는 AI를 구축하는 사명에 동참하길 바랍니다.
더 알아보기: https://engram.com – 파트너십이나 채용 문의는 dan@engram.com 으로 연락해 주세요.
요약
Dan Biderman(Engram 공동 설립자 겸 CEO)은 단순히 컨텍스트 윈도우를 늘리는 것이 AI 메모리 한계를 해결하지 못한다며, Engram의 지식 카트리지, 지속 학습, 토큰 효율 모델 접근 방식을 제시합니다.