hyperionaidev/smolmaxxing
maxxing the ability to run different LLMs on the smallest devices possible
smolmaxxing — 소형 하드웨어에서 거대 AI 모델 실행하기
프로젝트 소개
smolmaxxing은 TV 박스, 구형 태블릿, 싱글 보드 컴퓨터, 라우터와 같이 매우 사양이 낮은 기기에서 대규모 언어 모델(LLM)을 실행할 수 있게 해주는 프로젝트입니다. 목표는 "가지고 있는 가장 작은 하드웨어에서 실행 가능한 가장 큰 언어 모델을 돌리는 것"입니다. 260K에서 16B 파라미터까지의 모델을 지원합니다.
해결하는 문제
대부분의 소형 기기(TV 박스, 구형 태블릿, 라우터)는 CPU, RAM, 플래시 스토리지를 갖추고 있지만, 하루 중 대부분은 유휴 상태입니다. 일반적으로 최신 AI 모델을 실행하려면 메모리가 많은 강력한 컴퓨터가 필요합니다. smolmaxxing은 각 저사양 기기에서 실제로 실행 가능한 최대 모델을 파악하고, 커스텀 코드, 세심한 메모리 관리, 플래시 스토리지에서의 가중치 스트리밍을 통해 한계를 극복합니다. 리포지토리의 모든 성능 수치는 실제 기기에서 측정되었습니다.
테스트 완료 기기
| Xiaomi TV Box S (3세대) | iPad Air (2013) | |
|---|---|---|
| 칩 | Amlogic S7D, 4× Cortex-A55 | Apple A7, 2코어 |
| RAM | 1.9 GB (약 1 GB 사용 가능) | 1 GB (약 700 MB 사용 가능) |
| OS | Android 14, 루팅 없음 | iOS 12.5.7, 탈옥 |
| 일반 모델 | Qwen3.5-2B, 7.7 토큰/초 | Bonsai-1.7B (1-bit), 24–26 토큰/초 |
| 최대 모델 | Ling-mini-2.0, 16B, 5.1 토큰/초 | Ling-mini-2.0, 16B, 2.6–4.5 토큰/초 |
두 기기 모두 모델의 일부만 메모리에 유지하고 필요에 따라 플래시에서 나머지를 읽어오는 방식으로 약 1 GB의 RAM에서 8B 및 16B MoE(Mixture-of-Experts) 모델을 실행합니다.
작동 원리
모든 것은 인기 있는 오픈 소스 AI 추론 엔진인 llama.cpp에 대한 패치입니다. 주요 기술은 4가지입니다:
칩 전용 커널 — 각 프로세서에 최적화된 커스텀 저수준 코드. 1-bit 룩업 테이블 커널, Cortex-A55용으로 재패키징된 2-bit 및 3진 형식, 점곱(dot-product) 명령어가 없는 Apple A7용 버전 등이 포함됩니다.
모델당 RAM 사용량 감소 — 소형 모델의 어휘 대부분은 거의 사용되지 않으므로 해당 출력 행을 제거합니다. TV 박스에서는 "헤드리스" 모드를 통해 모델 실행 중 런처와 Google 서비스를 중지합니다.
플래시에서 페이징되는 전문가 모델 — MoE 모델은 토큰당 소수의 "전문가"만 사용합니다. 이 프로젝트는 인기 있는 전문가를 RAM에 유지하고, 필요에 따라 플래시에서 다른 전문가를 읽어오며, 다음 레이어의 전문가를 미리 가져옵니다. 이것이 1 GB RAM에서 8B 및 16B 모델이 실행되는 방식입니다.
고밀도 모델 스트리밍 — RAM보다 큰 모델의 경우, 가중치가 플래시의 최대 속도로 스트리밍됩니다.
사용 방법
Hugging Face에서 제공되는 기성 모델 파일을 사용하는 것이 가장 빠릅니다. 중요: 이 파일들은 패치된 llama.cpp가 필요하며, 일반 llama.cpp로는 로드할 수 없습니다.
- TV 박스 또는 기타 ARMv8.2 Android 기기:
docs/tv-box-setup.md참조 - 탈옥된 iOS 12 iPad:
ipad-air/README.md참조 - 모든 모델 파일 및 재빌드 방법:
docs/models.md참조
리포지토리 구성
| 경로 | 내용 |
|---|---|
patches/ |
TV 박스를 위한 llama.cpp 변경 사항 (iPad 패치는 ipad-air/patches/에 있음) |
tools/ |
모델 재빌드, GGUF 재작성, 벤치마크, 커널 체크 |
tv-llm-ui/ |
실시간 토큰 스트림 채팅 페이지 및 런처 |
ipad-air/ |
iOS 12 빌드, smolchat, 배포 및 벤치마크 스크립트 |
bench/ |
모든 채팅 벤치마크 (results.jsonl) 및 원시 로그 |
data/ |
어휘 목록 및 평가 텍스트 |
tiny-llm-web/ |
첫 번째 실험: 260K 파라미터 스토리 모델 |
zigcc/ |
정적 aarch64 바이너리 교차 컴파일을 위한 Zig 래퍼 |
문서
docs/tv-box.md— TV 박스에서 실행된 모든 모델, 속도 및 품질ipad-air/README.md— iPad Air 결과, 설정, 스크립트docs/how-it-works.md— 커널, 메모리 트릭, 전문가 페이저, 스트리밍 엔진docs/models.md— 다운로드, 재빌드 대상, 체크섬docs/lessons.md— 성공 및 실패 사례EXPERIMENT.md— 전체 실험 노트: 160건의 실험(실패 포함)
라이선스 및 크레딧
- 라이선스: MIT. llama.cpp 패치는 llama.cpp(MIT)의 파생물입니다. 모델 가중치는 자체 라이선스를 따르며, 평가 텍스트는 Wikipedia 발췌본(CC BY-SA 4.0)입니다.
- 기반: llama.cpp 및 llama2.c.
- 모델 제공: Qwen, unsloth, PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski, mradermacher, Google (Gemma), karpathy의 stories260K.
- 기타: iPad는 Amethyst로 탈옥됨; 배너는 Archivo 폰트(SIL OFL) 사용; 🤏 로고는 Google의 Noto Emoji(Apache 2.0) 사용.
핵심 요약
smolmaxxing은 커스텀 커널, 공격적인 메모리 최적화, 플래시에서의 모델 가중치 스트리밍과 같은 영리한 엔지니어링을 통해 약 1 GB의 가용 RAM만 있는 기기에서도 놀라울 정도로 큰 AI 모델(16B 파라미터 모델까지)을 실행할 수 있음을 증명합니다. 이 기술들은 이식 가능합니다. 1-bit 커널은 기본적인 NEON 명령어만 필요로 하며, 플래시 스트리밍은 RAM보다 큰 모델을 다루는 모든 Linux 또는 Android 기기에서 작동합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트