airllm: 소비자 GPU에서 한 레이어씩 로드하여 massive LLM을 실행하는 메모리 효율적인 추론 엔진

무엇을 해결하는가

AirLLM은 매우 제한된 VRAM을 가진 소비자 등급 하드웨어에서도 massive 대형 언어 모델(LLM)을 실행할 수 있게 해줍니다. 이는 양자화, 증류, 가지치기 없이 12GB VRAM의 GPU에서도 671B 파라미터 모델(예: DeepSeek-V3)을, 4GB 카드에서는 70B 모델을 실행할 수 있게 합니다.

어떻게 작동하는가

전체 모델을 GPU 메모리에 로드하는 대신, AirLLM은 모델을 분해하고 레이어별로 저장합니다. 추론 중에 GPU에 한 번에 모델의 한 레이어만 유지하므로 VRAM 요구 사항은 전체 모델 크기가 아닌 단일 레이어의 크기에 의해 결정됩니다. 또한 디스크上的 가중치 크기를 줄이고 로딩 시간을 최대 3배까지 단축시키는 선택적 블록별 양자화(4비트 또는 8비트)도 지원합니다.

누가 사용하는가

저사양 범용 컴퓨터나 취미용 GPU에서 정확도 손실이 일반적으로伴う heavy 양자화 없이 최신 상태의 massive 오픈소스 LLM을 실행하고자 하는 개발자와 연구자.

주요 기능

• 극한의 VRAM 효율성: 8GB VRAM에서 405B Llama 3.1 실행 또는 12GB VRAM에서 DeepSeek-V3 (671B) 실행.
• 광범위한 모델 지원: Llama (2/3/3.1/3.3/4), Qwen, DeepSeek, Mistral, Mixtral, Phi, Gemma, ChatGLM 등과 호환.
• 양자화 없음 옵션: 프루닝이나 증류 없이 전체 정밀도로 모델을 실행할 수 있는 기능.
• 크로스 플랫폼: Linux 및 Apple Silicon (MacOS) 지원.
• 간단함을 위한 코딩: Hugging Face에서 모델을 자동으로 감지하고 로드하는 단일 AutoModel 클래스를 사용.