jesdga95/basalt

해결하는 문제

Basalt를 사용하면 단일 워크스테이션에서 거대한 Qwen3.8-Flash-Next 혼합 전문가 모델을 실행할 수 있습니다. GPU의 비디오 메모리(VRAM)에 맞지 않는 모델의 일부를 시스템 RAM이나 보조 GPU로 지능적으로 오프로드하여 메모리 제약 문제를 해결합니다.

작동 방식

Basalt는 OpenAI 및 Anthropic 표준과 호환되는 API를 통해 모델을 제공하는 로컬 추론 엔진 역할을 합니다. 가중치, 토크나이저, 전문가 프로필을 단일 파일로 패키징하는 사용자 지정 파일 형식을 사용합니다. 실행 시 모델의 전문화된 구성 요소인 "전문가"를 동적으로 관리하여 가장 활발한 구성 요소는 VRAM에 유지하고 나머지는 시스템 RAM을 활용합니다. 이 엔진은 NVIDIA Blackwell GPU를 위해 특별히 설계되었습니다.

대상 사용자

이 도구는 대규모 서버 클러스터 없이 로컬에서 크고 복잡한 AI 모델을 실행해야 하는 고성능 하드웨어(특히 NVIDIA Blackwell GPU)를 갖춘 개발자와 파워 유저를 위한 것입니다.

주요 특징

• 단일 워크스테이션에서 대규모 혼합 전문가 모델 실행.
• 간편한 통합을 위한 OpenAI 및 Anthropic 호환 API 제공.
• 모델 구성 요소를 시스템 RAM 또는 두 번째 GPU로 오프로드 지원.
• 모니터링 및 상호 작용을 위한 내장 웹 인터페이스 포함.
• 다양한 성능 및 품질 요구 사항에 최적화된 특수 모델 팩 제공.