airllm: 소비자 GPU에서 한 번에 한 레이어씩 로드하여 massive LLM을 실행하는 메모리 효율적인 추론 엔진

What it solves

AirLLM은 소비자 등급 하드웨어에서 매우 제한된 VRAM을 가진 상태에서도 massive 대형 언어 모델(LLM)을 실행할 수 있게 해줍니다. 이는 12GB VRAM만 있는 GPU에서도 671B 파라미터 모델(예: DeepSeek-V3)을, 또는 4GB 카드에서는 70B 모델을 실행할 수 있게 하며, 양자화, 증류, 가지치기를 필요로 하지 않습니다.

How it works

전체 모델을 GPU 메모리에 로드하는 대신, AirLLM은 모델을 분해하여 레이어별로 저장합니다. 추론 중에는 GPU에 모델의 한 레이어만 유지하므로, VRAM 요구 사항은 전체 모델 크기가 아닌 단일 레이어의 크기에 의해 결정됩니다. 또한 디스크上的 가중치 크기를 줄이고 로딩 시간을 최대 3배까지 단축시키는 선택적 블록별 양자화(4비트 또는 8비트)도 지원합니다.

Who it’s for

저사양 범용 컴퓨터나 취미용 GPU에서 정확도 손실이 일반적으로伴う heavy quantization 없이 state-of-the-art massive 오픈소스 LLM을 실행하고자 하는 개발자와 연구자를 위한 것입니다.

Highlights

• Extreme VRAM Efficiency: 8GB VRAM에서 405B Llama 3.1 실행 또는 12GB VRAM에서 DeepSeek-V3 (671B) 실행.
• Broad Model Support: Llama (2/3/3.1/3.3/4), Qwen, DeepSeek, Mistral, Mixtral, Phi, Gemma, ChatGLM 등과 호환.
• No-Quantization Option: 가지치기나 증류 없이 전체 정밀도로 모델을 실행할 수 있는 기능.
• Cross-Platform: Linux 및 Apple Silicon (MacOS) 지원.
• Coded for Simplicity: Hugging Face에서 모델을 자동으로 감지하고 로드하는 단일 AutoModel 클래스 사용.