Edge0-AI/Edge0

edge0 – 소비자 기기를 위한 스트리밍 MoE 추론

개요
edge0은 노트북, 휴대폰, 심지어 Windows PC와 같은 일상적인 하드웨어에서 대규모 희소 혼합 전문가(MoE) 언어 모델을 실행할 수 있게 해주는 오픈 소스 프레임워크입니다. 필요한 경우에만 SSD에서 전문가 가중치를 스트리밍하여, 사용되는 RAM 양을 전체 모델 크기가 아닌 활성 전문가 수와 거의 동일하게 유지합니다.

핵심 기술

기술	중요성
SSD 전문가 오프로드	전문가 파라미터가 디스크에 저장되고 필요에 따라 mmap되므로, 350억 파라미터 모델을 3 GiB 미만의 RAM으로 실행할 수 있습니다.
프리라우터 (Prerouter)	작은 학습된 헤드가 다음에 필요한 전문가를 한 단계 앞서 예측하여 디스크 로드와 순방향 패스를 겹칩니다. 저자들은 디코드 처리량이 최대 +59 % 향상되었다고 보고합니다.
복구 LoRA (Recover-LoRA)	기본 모델은 int4 (4-bit)로 양자화됩니다. 전체 정밀도 교사 모델에서 증류하여 학습된 LoRA 어댑터가 손실된 품질의 대부분을 복구합니다. 어댑터는 별도의 파일로 유지되므로 기본 체크포인트를 건드리지 않고 여러 미세 조정 세트를 사용할 수 있습니다.

지원 플랫폼

플랫폼	언어 / 스택	상태
Python (macOS Apple Silicon)	Python + MLX	준비 완료 – pip를 통해 설치
macOS app & CLI	Rust	2026년 9월 30일 오픈 소스화
iOS app	Swift + MLX-Swift	2026년 9월 30일 오픈 소스화
Android app & engine	Kotlin + native engine	2026년 9월 30일 오픈 소스화
Windows app & engine	C++ + Vulkan	2026년 9월 30일 오픈 소스화

이러한 플랫폼 차이를 숨기는 통합 추론 프레임워크가 2026년 4분기에 계획되어 있습니다.

모델 계층

계층	체크포인트	크기 / 전문가	프리라우터 K
edge0-35b	Hugging Face	4-bit, 40 레이어, 256 전문가	4
edge0-8b	Hugging Face	4-bit, 24 레이어, 128 전문가	8

각 체크포인트는 기본 가중치, LoRA 어댑터, 프리라우터 헤드를 번들로 제공하므로 단일 다운로드로 즉시 실행 가능한 모델을 얻을 수 있습니다.

성능
벤치마크는 Mac mini M4 Pro (24 GB RAM)에서 실행되었습니다.

• edge0-35b: 14.9-17.7 tokens / s 디코드, 2.9 GiB 최대 활성 메모리.
• edge0-8b: 23.9-25.3 tokens / s 디코드, 1.0 GiB 최대 활성 메모리.

원래 fp16 모델과 비교한 품질 손실은 미미합니다(MMLU-Pro에서 평균 약 3점, 일부 벤치마크에서는 기본 모델을 능가하기도 함).

시작하기 (Python)

# clone and create a venv
cd python
python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'

# download a model (the script pulls both base and adapters)
.venv/bin/python scripts/fetch_models.py --tier edge0-35b --target-dir models

# set env var or pass the path directly
export EDGE0_35B_MODEL=$PWD/models/edge0-35b

# quick demo
edge0 demo edge0-35b

# serve an OpenAI-compatible endpoint
edge0 serve edge0-35b   # then POST to http://127.0.0.1:8000/v1/chat/completions

동일한 엔진을 AutoEngine.from_pretrained(...)를 통해 Python 코드에서 사용할 수 있습니다.

로드맵 (2026년 4분기)

• 올바른 네이티브 런타임(iOS, Android, Windows, macOS, Python)을 자동으로 선택하는 단일 통합 API.
• Linux/데스크톱 GPU를 위한 CUDA 백엔드.
• SSD 스트리밍과 자연스럽게 맞는 차세대 아키텍처(하이브리드 선형 어텐션, N-gram 테이블) 지원.
• 전문가 라우팅을 토큰 단위에서 블록 단위로 이동하여 지연 시간을 더욱 줄이는 잠재적 사고 최적화.

라이선스
Apache-2.0 (LICENSE 참조).

---

위의 모든 세부 정보는 저장소의 README에서 직접 가져온 것입니다.