lyogavin/airllm

AirLLM – 작은 GPU에서 거대한 LLM 실행 및 학습

기능
AirLLM은 소비자용 GPU 하나에 불과 몇 기가바이트의 VRAM만으로 최대 671B 파라미터의 매우 큰 언어 모델을 추론하고 미세 조정할 수 있게 해주는 Python 라이브러리입니다. 디스크에서 모델 레이어를 스트리밍하고 GPU에 한 번에 하나의 레이어(선택적으로 어댑터 포함)만 유지하는 방식으로 이를 달성합니다. 또한 이 라이브러리는 경량 블록 단위 가중치 전용 압축(4비트/8비트)을 제공하여 정확도 손실을 최소화하면서 추론 속도를 최대 3배 높일 수 있습니다.

중요한 이유
일반적으로 70B 모델은 30-40GB의 GPU 메모리가 필요합니다. AirLLM의 레이어별 스트리밍은 메모리 요구 사항을 단일 레이어 크기로 줄여 70B 모델은 약 4GB, 125B MoE는 약 6GB, 심지어 671B DeepSeek-V3도 약 12GB에서 실행됩니다. 또한 동결 가중치를 스트리밍하고 GPU 메모리에 어댑터만 유지하여 대형 모델 학습을 지원하므로 6GB 카드에서 125B 모델을 미세 조정할 수 있습니다.

주요 기능(README에 설명된 대로)

레이어별 스트리밍 – 한 번에 하나의 트랜스포머 레이어를 로드하고 나머지는 디스크에 유지합니다.
블록 단위 가중치 전용 압축 – 가중치만 4비트 또는 8비트 양자화(활성화 양자화 없음)하여 최대 3배 속도 향상을 제공합니다.
광범위한 모델 지원 – 사실상 모든 Hugging Face LLM에서 작동: Llama 2/3/3.1/3.3/4, Qwen (1-3.8, MoE, Flash-Next, FP8, VL), DeepSeek-V2/V3, Mixtral, Phi-4, Gemma, ChatGLM, Baichuan, InternLM, Yi, Kimi K3 등.
소형 VRAM에서 학습 – 동결 가중치 + LoRA 어댑터 스트리밍; Qwen 3.8-Flash-Next (125B) 및 Qwen 3.8-27B 예제 포함.
간단한 API – AutoModel.from_pretrained(<repo_id>, compression='4bit')는 표준 Hugging Face AutoModel처럼 작동합니다.
크로스 플랫폼 – Linux, Windows 및 Apple 실리콘 macOS(MLX + torch) 지원.
구성 가능 – 압축, 프로파일링, 사용자 지정 샤드 저장 경로, Hugging Face 토큰, 프리페칭, 디스크 공간 절약을 위한 원본 모델 선택적 삭제.

일반적인 사용법

from airllm import AutoModel
model = AutoModel.from_pretrained(
    "Qwen/Qwen3-32B",   # 모든 HF 모델 ID 사용 가능
    compression='4bit'   # 선택적 4비트/8비트 속도 향상
)
# 토큰화, 생성 등 – 일반 HF 모델과 동일

첫 번째 로드 중에 라이브러리는 모델을 디스크에 레이어별 샤드로 분할합니다. 이후 실행에서는 해당 샤드를 스트리밍하기만 하면 됩니다.

학습 예제 (LoRA)

python air_llm/examples/train_qwen38_flash_next_lora.py \
  --data my_data.jsonl \
  --seq-len 512 \
  --epochs 1 \
  --save-adapter qwen38-flash-next-lora.pt

이 스크립트는 각 디코더 레이어를 스트리밍하고, 어댑터를 GPU 메모리에 유지하며, LoRA 체크포인트를 작성합니다.

성능 하이라이트(README에서)

모델	파라미터	필요한 VRAM(대략)
Qwen3-32B	32B	~4GB
Qwen3.8-Flash-Next (125B MoE)	125B	~5.95GB
DeepSeek-V3	671B	~12GB
Llama 3.1-405B	405B	~8GB
Kimi K3 (2.8T)	2.8T	~3.7GB

사용 대상

최신 LLM으로 실험하고 싶은 중급 GPU 하나를 가진 연구자나 취미 개발자.
저비용 환경(예: 엣지 서버, 개인 워크스테이션)에서 대형 모델 추론을 실행해야 하는 개발자.
VRAM 요구 사항을 획기적으로 낮추는 transformers.AutoModel의 대체재를 찾는 모든 사람.

获取 방법

PyPI를 통해 설치: pip install airllm.
소스 코드, 노트북, 모델별 스크립트는 GitHub(https://github.com/lyogavin/airllm)에 있습니다.
Discord 커뮤니티 채팅 및 Patreon 지원.

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며 외부 주장은 추가되지 않았습니다.

lyogavin/airllm

AirLLM – 작은 GPU에서 거대한 LLM 실행 및 학습

관련