smolmaxxing: 저사양 하드웨어에서 거대 언어 모델 실행하기
smolmaxxing 프로젝트는 13년 된 태블릿이나 저가형 TV 박스와 같은 구형 및 저전력 하드웨어에서도 메모리, 스토리지, 연산 커널의 공격적인 최적화를 통해 거대 언어 모델(LLM)을 효과적으로 실행할 수 있음을 증명합니다. RAM과 플래시 대역폭을 단순한 CPU 성능보다 더 중요한 병목 현상으로 간주함으로써, 이 프로젝트는 1GB의 가용 메모리만으로도 최대 16B 파라미터 모델을 실행할 수 있게 합니다.
핵심 최적화 전략
이 프로젝트는 세 가지 중요한 하드웨어 병목 현상을 해결하여 이러한 결과를 달성합니다:
- 연산: ARMv8.2 아키텍처(Cortex-A55 등)를 위한 커스텀 커널은 곱셈이 없는 1비트 연산, 양자화된 가중치를 위한 룩업 테이블 커널, 그리고 Gated-DeltaNet과 같은 일반적인 모델 아키텍처를 위한 융합 연산에 집중합니다. 이러한 커널은 순차적 CPU 실행의 오버헤드를 크게 줄여줍니다.
- 메모리 관리: 모델을 ~1GB 제한 내에 맞추기 위해, 이 프로젝트는 빈도가 낮은 어휘 토큰을 삭제하여 공간을 절약하는 가지치기된 언어 모델 헤드와, Android 기기에서 불필요한 백그라운드 서비스를 일시 중단하여 가용 RAM을 최대화하는 "헤드리스(headless)" 모드를 사용합니다.
- 스토리지 및 스트리밍: 물리적 RAM을 초과하는 모델을 위해, 이 프로젝트는 정교한 가중치 스트리밍 엔진을 구현합니다. 이 엔진은 효율적인 플래시 읽기를 위해
O_DIRECT를 사용하고, 가중치가 필요하기 직전에 메모리로 로드되도록 예측적 프리페칭(predictive prefetching)을 수행하여 플래시 스토리지를 RAM의 가상 확장 공간으로 효과적으로 전환합니다.
구형 하드웨어에서의 성능
성능은 두 가지 주요 테스트 기기에서 측정되었으며, 이러한 기술의 효용성을 강조합니다:
- Xiaomi TV Box S (3세대): 1GB의 가용 RAM을 갖춘 Amlogic S7D 프로세서에서, 시스템은 Qwen3.5-2B 모델에서 7.7 tokens/s, 16B 전문가 혼합(mixture-of-experts) 모델(Ling-mini-2.0)에서 5.1 tokens/s를 달성합니다. 이러한 결과는 최신 저가형 하드웨어에서도 지능적인 메모리 페이징을 통해 기기의 물리적 RAM보다 훨씬 큰 모델을 실행할 수 있음을 보여줍니다.
- iPad Air (2013): Apple A7 칩을 사용하여, 이 프로젝트는 1.7B 파라미터 모델에서 23-25 tokens/s를 달성합니다. 전문가 페이저(expert-pager) 시스템을 구현함으로써, 이 기기는 16B 모델도 2.6–4.5 tokens/s로 실행할 수 있으며, 이는 소프트웨어가 충분히 최적화된다면 구형 모바일 하드웨어로도 AI 추론이 가능함을 증명합니다.
커뮤니티 통찰 및 유용성
이 프로젝트를 둘러싼 논의는 기술적 성과와 "소형" 모델의 유용성에 대한 지속적인 논쟁을 모두 보여줍니다. 일부 사용자는 구형 하드웨어에서 LLM을 실행하는 것의 실용성에 의문을 제기하지만, 다른 이들은 이를 AI 접근성을 민주화하기 위한 중요한 단계로 봅니다.
"작으면서도 유용한 모델들은 다음 세대의 가난한 아이들이 더 평등한 세상을 만드는 데 사용할 도구 세트의 일부가 될 것입니다." — Hacker News 사용자 nullstyle
비평가들은 순수한 속도가 성공의 유일한 척도는 아니라고 지적합니다. 한 사용자가 언급했듯이, "무한 루프에 빠지거나, 도구 호출을 할 수 없거나, 임베디드 기능에 대해 훈련되지 않았다면 속도는 아무 의미가 없습니다." 이 프로젝트는 단순히 낮은 비트 폭에서 성능 저하를 겪을 수 있는 큰 모델을 축소하는 대신, 도구 호출이나 추론과 같이 소규모 효율성을 위해 특별히 훈련된 모델의 필요성을 강조함으로써 이 문제를 해결합니다.
향후 방향
이 프로젝트는 구형 기술을 "부활"시키기 위한 실용적인 청사진 역할을 합니다. 효율적인 커널과 메모리 매핑된 가중치 스트리밍에 집중함으로써, 개발자들은 씬 클라이언트, 라우터, 구형 모바일 기기를 엣지 AI 작업용으로 재활용할 수 있습니다. 상세한 EXPERIMENT.md 파일을 포함한 프로젝트 문서는 다른 사람들이 다양한 ARM 기반 기기에서 이러한 최적화를 재현할 수 있는 로드맵을 제공합니다.
Sources
관련
- 프로젝트
- Dispatch
- Dispatch
- Dispatch
- 프로젝트