sqliteai/warp

WARP란 무엇인가요?

WARP(Weight‑Aware Runtime and Paging)는 C로 작성된 작고 자가 포함된 추론 엔진입니다. GPU나 외부 라이브러리 없이도 랩톱이나 데스크톱에서 매우 큰 혼합 전문가(MoE) 언어 모델(예: 2.78조 파라미터의 Kimi K3)을 실행할 수 있습니다.

작동 방식

• 하이브리드 메모리 레이아웃 – 모델의 공유 부분(‘트렁크’)은 RAM에 유지되며, 거대한 전문가 가중치는 빠른 저장소(SSD)에 저장됩니다. 토큰을 처리할 때 엔진은 필요한 전문가를 예측하고, 디스크에서 해당 전문가 블록을 스트리밍하여 제한된 RAM 기반 전문가 캐시에 저장합니다.
• 미리 라우팅 – 가벼운 라우터가 다음 레이어의 전문가를 조기에 예측하여 디스크 읽기와 계산을 겹치게 하여 대기 시간을 줄입니다.
• 양자화 – 공유 가중치는 4비트 또는 8비트 정밀도로 유지되며, 전문가는 3비트 잔차 벡터 양자화를 사용하여 디스크에 저장되는 크기를 줄입니다.
• 효율적인 KV 캐시 – 선형 어텐션과 압축된 키-밸류 캐시를 통해 컨텍스트 메모리는 매우 작습니다(4K 컨텍스트 기준 약 0.2GB).

실행 가능한 모델

모델	크기(컨테이너)	최소 RAM	속도(토큰/초)
Kimi K3 2.78 T	982 GB	29 GB	0.45 – 0.62 (64토큰 실행)
DeepSeek‑V4.1‑Flash 552 B	299 GB	4.9 GB	3.7
GLM‑5.3‑Flash 313 B	112 GB	5.1 GB	3.3 – 3.9
Kimi‑Linear 48 B	19 GB	1.3 GB	14 – 17

엔진은 다중 모달 입력도 처리할 수 있습니다. --image를 사용해 이미지를 첨부하면 모델의 비전 타워가 이를 처리합니다.

시작하기

1. 빌드 – make는 waste CLI와 정적 라이브러리(libwaste.a)를 컴파일합니다. BLAS, CUDA, Python, 기타 런타임 종속성은 필요하지 않습니다.
2. 실행 – 예시 명령어:

   ./waste run ~/models/k3.waste "What is the capital of Italy?"
   

   CLI는 메모리 사용량, 캐시 히트/미스 비율, 처리량을 보고합니다.
3. 모델 변환 – Python 변환 스크립트(convert.py)는 공개 체크포인트(safetensors, fp8 등)를 WARP 컨테이너 형식으로 변환합니다. 변환에는 추가 일시 저장 공간(예: Kimi K3 기준 최대 약 1.5TB)이 필요하지만, 변환된 컨테이너는 RAM/저장 공간 요구 사항을 충족하는 모든 기계에서 사용 가능합니다.

왜 중요한가요?

• 최전선 모델의 로컬 추론 – 대부분의 2조 파라미터 이상 모델은 수십 GB의 GPU 메모리가 필요합니다. WARP는 SSD에서 전문가를 스트리밍함으로써, 소비자용 CPU에서도 이러한 모델을 실행할 수 있음을 보여줍니다.
• 오픈소스 및 임베딩 가능 – 엔진은 단일 C 라이브러리이며, 허용 가능한 빌드 조건을 가지므로 다른 애플리케이션이나 서비스에 쉽게 임베딩할 수 있습니다.
• 사람이 개입하는 개발 – 코드베이스는 인간의 지시 아래 LLM에 의해 생성되었으며, 새로운 추론 알고리즘의 빠른 프로토타이핑을 위한 혁신적인 워크플로우를 보여줍니다.

누구에게 추천되나요?

• 대규모 MoE 모델의 CPU 전용 추론을 탐구하는 연구자.
• 오프라인, 프라이버시 보호형 LLM 런타임이 필요한 개발자(클라우드 없음, GPU 드라이버 없음).
• 가중치 인식 페이지링 기술과 현대 SSD를 AI 워크로드에 최대한 활용하는 방법에 관심 있는 사람.

---

TL;DR: WARP는 C 언어만 사용하고 종속성이 없는 엔진으로, 디스크에서 MoE 전문가 가중치를 스트리밍하여 RAM이 제한된 랩톱에서도 트리리언 파라미터 언어 모델을 실행할 수 있습니다. CLI, 정적 라이브러리, 텍스트+이미지 생성을 지원합니다.