Indras-Mirror/Xolotl

해결하는 문제

Xolotl을 사용하면 5520억 개의 파라미터를 가진 DeepSeek-V4.1과 같은 대규모 프론티어급 AI 모델을 단일 소비자용 게이밍 PC에서 실행할 수 있습니다. 고가의 서버급 하드웨어가 필요하지 않으며, VRAM, 시스템 RAM, NVMe 스토리지 전반에서 모델 데이터를 지능적으로 관리하는 계층형 메모리 시스템을 통해 하드웨어 장벽을 해결합니다.

작동 원리

이 프로젝트는 모델의 '전문가'(특정 작업에 사용되는 모델의 특정 부분)를 캐시로 취급하는 특수 엔진을 사용합니다. 가장 자주 사용되는 전문가는 GPU의 VRAM에 유지하고, 나머지는 시스템 RAM이나 고속 NVMe 드라이브에 저장합니다. 모델이 텍스트를 처리할 때 엔진은 다음에 필요한 전문가를 예측하여 적시에 가져옵니다. 또한 추론 디코딩(speculative decoding) 및 사용자 지정 양자화와 같은 다양한 모델 아키텍처에 대한 특정 최적화가 포함되어 있어 소비자용 하드웨어에서도 높은 성능을 유지합니다.

대상 사용자

Xolotl은 RTX 4090과 같은 하이엔드 NVIDIA GPU를 보유하고 있으며, 외부 API나 서버 팜에 의존하지 않고 코딩 에이전트, 도구 호출 또는 개인 AI 작업을 위해 대규모의 검열되지 않은 프론티어급 언어 모델을 로컬에서 실행하려는 개발자와 파워 유저를 위해 설계되었습니다.

주요 특징

• DeepSeek-V4.1과 같은 대규모 혼합 전문가(MoE) 모델을 24GB VRAM 카드 한 장에서 실행 가능.
• 기존 AI 도구와 쉽게 통합할 수 있는 OpenAI/Anthropic 호환 서버 인터페이스 제공.
• 효율적인 메모리 관리를 통해 긴 컨텍스트 윈도우(최대 512K tokens) 지원.
• 대화 캐싱, 배치 처리, 멀티 GPU 레이어 분할과 같은 고급 기능 포함.
• Linux 및 Windows 환경 모두에 대한 네이티브 지원 제공.