volotat/mini-AGI

Continual learning model trained from scratch on 8GB VRAM laptop with batch-1 stream of data.

해결하는 문제

이 프로젝트는 대부분의 언어 모델이 학습 후 "고정"되어 기존 지식을 잊지 않고 새로운 데이터로부터 지속적으로 학습할 수 없는 한계를 해결합니다. 또한 모델의 지식 용량을 GPU 비디오 메모리(VRAM) 크기에 엄격하게 제한받지 않고 사용 가능한 디스크 공간에 따라 확장할 수 있도록 하여 하드웨어 장벽을 해결합니다.

작동 방식

이 시스템은 모델 전체를 메모리에 로드하는 대신 "전문가"(소규모 신경망 블록)를 디스크에 개별 파일로 저장합니다. 모델이 텍스트를 처리할 때 해당 작업에 필요한 특정 전문가만 동적으로 GPU의 VRAM에 로드합니다. 모델은 학습하면서 새로운 전문가를 생성하거나 사용하지 않는 전문가를 삭제할 수 있습니다. 읽기와 학습이 동시에 이루어지는 "지속적 학습" 방식을 사용하여 별도의 정적 학습 단계 없이 새로운 데이터를 소비하면서 모델이 진화하도록 보장합니다.

대상 사용자

이 프로젝트는 적절한 하드웨어(최소 6 GB VRAM)를 갖추고 지속적인 데이터 스트림에서 학습하는 모델을 구축해보고 싶은 실험가와 애호가를 위한 것입니다. 이는 고성능 작업을 위한 제품 수준의 도구가 아니라 연구 지향적인 "장난감 수준"의 실험입니다.

주요 특징

  • 디스크 기반 용량: 모델의 파라미터 수는 GPU 메모리가 아닌 하드 드라이브 공간에 의해 제한됩니다.
  • 지속적 학습: 읽는 모든 문자로부터 학습하여 표준 모델에서 흔히 발생하는 "파멸적 망각"을 방지합니다.
  • 적응형 아키텍처: 모델은 각 문자에 할당할 컴퓨팅 파워를 자동으로 결정하며, 복잡한 작업에는 더 많은 처리 "행"을, 단순한 작업에는 더 적은 "행"을 사용합니다.
  • 하드웨어 효율성: 8 GB VRAM을 탑재한 단일 소비자용 GPU에서 실행 및 학습하도록 설계되었습니다.
  • 토크나이저 없음: 원시 바이트 값을 처리하므로 사전 정의된 어휘 없이도 모든 입력을 처리할 수 있습니다.

관련

  • Dispatch
  • 프로젝트
  • Dispatch
  • 프로젝트
  • Dispatch