Headmaster218/MoE4All

해결하는 문제

MoE4All을 사용하면 로컬 GPU VRAM 용량을 초과하는 대규모 Mixture-of-Experts(MoE) AI 모델을 실행할 수 있습니다. SSD, 시스템 RAM, GPU VRAM 간에 모델 가중치를 지능적으로 관리하여 소비자 하드웨어(AMD, NVIDIA, Intel)에서 고성능 추론을 가능하게 합니다.

작동 방식

SSD, RAM, VRAM을 통합 메모리 풀로 취급하는 계층형 스토리지 아키텍처를 사용합니다. MoE 모델은 토큰당 전체 파라미터의 일부만 활성화하므로 엔진은 자주 사용되는 '전문가' 가중치를 VRAM에 유지하고 나머지는 RAM 또는 SSD로 오프로드합니다. Vulkan을 활용하여 크로스 플랫폼 GPU 가속을 제공하며, 기존 채팅 클라이언트와 통합하기 위한 OpenAI 호환 API를 제공합니다.

대상 사용자

이 프로젝트는 엔터프라이즈급 하드웨어 없이 대규모 고파라미터 LLM을 로컬에서 실행하려는 소비자급 GPU 사용자를 위한 것입니다. 제한된 VRAM에서 긴 컨텍스트 모델을 실험하거나 동시 추론 작업을 수행하려는 사용자에게 특히 유용합니다.

주요 특징

• 크로스 플랫폼 지원: Windows, Linux, Apple Silicon에서 최소한의 설정으로 실행됩니다.
• Vulkan 우선 추론: Vulkan을 활용하여 AMD, NVIDIA, Intel GPU 전반에 걸쳐 광범위한 호환성을 제공합니다.
• 효율적인 메모리 관리: 물리적 VRAM보다 큰 모델을 처리하기 위한 3계층 캐싱 시스템(SSD/RAM/VRAM)을 구현합니다.
• API 호환성: 임베딩 및 채팅 서비스를 위한 OpenAI 호환 API를 제공합니다.
• 동시 처리: 다양한 컨텍스트 길이의 동시 요청을 처리하기 위한 여러 K/V 슬롯을 지원합니다.