hyperionaidev/smolmaxxing

maxxing the ability to run different LLMs on the smallest devices possible

smolmaxxing — 소형 하드웨어에서 거대 AI 모델 실행하기

프로젝트 소개

smolmaxxing은 TV 박스, 구형 태블릿, 싱글 보드 컴퓨터, 라우터와 같이 매우 사양이 낮은 기기에서 대규모 언어 모델(LLM)을 실행할 수 있게 해주는 프로젝트입니다. 목표는 "가지고 있는 가장 작은 하드웨어에서 실행 가능한 가장 큰 언어 모델을 돌리는 것"입니다. 260K에서 16B 파라미터까지의 모델을 지원합니다.

해결하는 문제

대부분의 소형 기기(TV 박스, 구형 태블릿, 라우터)는 CPU, RAM, 플래시 스토리지를 갖추고 있지만, 하루 중 대부분은 유휴 상태입니다. 일반적으로 최신 AI 모델을 실행하려면 메모리가 많은 강력한 컴퓨터가 필요합니다. smolmaxxing은 각 저사양 기기에서 실제로 실행 가능한 최대 모델을 파악하고, 커스텀 코드, 세심한 메모리 관리, 플래시 스토리지에서의 가중치 스트리밍을 통해 한계를 극복합니다. 리포지토리의 모든 성능 수치는 실제 기기에서 측정되었습니다.

테스트 완료 기기

Xiaomi TV Box S (3세대) iPad Air (2013)
칩 Amlogic S7D, 4× Cortex-A55 Apple A7, 2코어
RAM 1.9 GB (약 1 GB 사용 가능) 1 GB (약 700 MB 사용 가능)
OS Android 14, 루팅 없음 iOS 12.5.7, 탈옥
일반 모델 Qwen3.5-2B, 7.7 토큰/초 Bonsai-1.7B (1-bit), 24–26 토큰/초
최대 모델 Ling-mini-2.0, 16B, 5.1 토큰/초 Ling-mini-2.0, 16B, 2.6–4.5 토큰/초

두 기기 모두 모델의 일부만 메모리에 유지하고 필요에 따라 플래시에서 나머지를 읽어오는 방식으로 약 1 GB의 RAM에서 8B 및 16B MoE(Mixture-of-Experts) 모델을 실행합니다.

작동 원리

모든 것은 인기 있는 오픈 소스 AI 추론 엔진인 llama.cpp에 대한 패치입니다. 주요 기술은 4가지입니다:

  1. 칩 전용 커널 — 각 프로세서에 최적화된 커스텀 저수준 코드. 1-bit 룩업 테이블 커널, Cortex-A55용으로 재패키징된 2-bit 및 3진 형식, 점곱(dot-product) 명령어가 없는 Apple A7용 버전 등이 포함됩니다.

  2. 모델당 RAM 사용량 감소 — 소형 모델의 어휘 대부분은 거의 사용되지 않으므로 해당 출력 행을 제거합니다. TV 박스에서는 "헤드리스" 모드를 통해 모델 실행 중 런처와 Google 서비스를 중지합니다.

  3. 플래시에서 페이징되는 전문가 모델 — MoE 모델은 토큰당 소수의 "전문가"만 사용합니다. 이 프로젝트는 인기 있는 전문가를 RAM에 유지하고, 필요에 따라 플래시에서 다른 전문가를 읽어오며, 다음 레이어의 전문가를 미리 가져옵니다. 이것이 1 GB RAM에서 8B 및 16B 모델이 실행되는 방식입니다.

  4. 고밀도 모델 스트리밍 — RAM보다 큰 모델의 경우, 가중치가 플래시의 최대 속도로 스트리밍됩니다.

사용 방법

Hugging Face에서 제공되는 기성 모델 파일을 사용하는 것이 가장 빠릅니다. 중요: 이 파일들은 패치된 llama.cpp가 필요하며, 일반 llama.cpp로는 로드할 수 없습니다.

  • TV 박스 또는 기타 ARMv8.2 Android 기기: docs/tv-box-setup.md 참조
  • 탈옥된 iOS 12 iPad: ipad-air/README.md 참조
  • 모든 모델 파일 및 재빌드 방법: docs/models.md 참조

리포지토리 구성

경로 내용
patches/ TV 박스를 위한 llama.cpp 변경 사항 (iPad 패치는 ipad-air/patches/에 있음)
tools/ 모델 재빌드, GGUF 재작성, 벤치마크, 커널 체크
tv-llm-ui/ 실시간 토큰 스트림 채팅 페이지 및 런처
ipad-air/ iOS 12 빌드, smolchat, 배포 및 벤치마크 스크립트
bench/ 모든 채팅 벤치마크 (results.jsonl) 및 원시 로그
data/ 어휘 목록 및 평가 텍스트
tiny-llm-web/ 첫 번째 실험: 260K 파라미터 스토리 모델
zigcc/ 정적 aarch64 바이너리 교차 컴파일을 위한 Zig 래퍼

문서

  • docs/tv-box.md — TV 박스에서 실행된 모든 모델, 속도 및 품질
  • ipad-air/README.md — iPad Air 결과, 설정, 스크립트
  • docs/how-it-works.md — 커널, 메모리 트릭, 전문가 페이저, 스트리밍 엔진
  • docs/models.md — 다운로드, 재빌드 대상, 체크섬
  • docs/lessons.md — 성공 및 실패 사례
  • EXPERIMENT.md — 전체 실험 노트: 160건의 실험(실패 포함)

라이선스 및 크레딧

  • 라이선스: MIT. llama.cpp 패치는 llama.cpp(MIT)의 파생물입니다. 모델 가중치는 자체 라이선스를 따르며, 평가 텍스트는 Wikipedia 발췌본(CC BY-SA 4.0)입니다.
  • 기반: llama.cpp 및 llama2.c.
  • 모델 제공: Qwen, unsloth, PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski, mradermacher, Google (Gemma), karpathy의 stories260K.
  • 기타: iPad는 Amethyst로 탈옥됨; 배너는 Archivo 폰트(SIL OFL) 사용; 🤏 로고는 Google의 Noto Emoji(Apache 2.0) 사용.

핵심 요약

smolmaxxing은 커스텀 커널, 공격적인 메모리 최적화, 플래시에서의 모델 가중치 스트리밍과 같은 영리한 엔지니어링을 통해 약 1 GB의 가용 RAM만 있는 기기에서도 놀라울 정도로 큰 AI 모델(16B 파라미터 모델까지)을 실행할 수 있음을 증명합니다. 이 기술들은 이식 가능합니다. 1-bit 커널은 기본적인 NEON 명령어만 필요로 하며, 플래시 스트리밍은 RAM보다 큰 모델을 다루는 모든 Linux 또는 Android 기기에서 작동합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트