hyperionaidev/smolmaxxing
maxxing the ability to run different LLMs on the smallest devices possible
smolmaxxing — 小型ハードウェアで巨大なAIモデルを動かす
プロジェクトの概要
smolmaxxingは、TVボックス、古いタブレット、シングルボードコンピュータ、ルーターといった非常に低スペックなデバイスで大規模言語モデル (LLMs) を動作させるプロジェクトです。目標は「手持ちの最小のハードウェアで、可能な限り最大の言語モデルを動かす」ことです。260Kから16Bパラメータまでのモデルをカバーしています。
解決する課題
ほとんどの小型デバイス(TVボックス、古いタブレット、ルーター)は、CPU、RAM、フラッシュストレージを搭載していますが、一日の大半はアイドル状態です。通常、最新のAIモデルを動かすには、大容量メモリを搭載した強力なコンピュータが必要です。smolmaxxingは、各低スペックデバイスで実際に動作可能な最大モデルを特定し、カスタムコード、慎重なメモリ管理、フラッシュストレージからの重みストリーミングによって限界を押し広げます。リポジトリ内のすべてのパフォーマンス数値は、実機で測定されたものです。
これまでにテストされたデバイス
| Xiaomi TV Box S (第3世代) | iPad Air (2013) | |
|---|---|---|
| チップ | Amlogic S7D, 4× Cortex-A55 | Apple A7, 2コア |
| RAM | 1.9 GB (約1 GB使用可能) | 1 GB (約700 MB使用可能) |
| OS | Android 14, root化なし | iOS 12.5.7, 脱獄済み |
| 日常モデル | Qwen3.5-2B, 7.7 トークン/秒 | Bonsai-1.7B (1-bit), 24–26 トークン/秒 |
| 最大モデル | Ling-mini-2.0, 16B, 5.1 トークン/秒 | Ling-mini-2.0, 16B, 2.6–4.5 トークン/秒 |
どちらのデバイスも、モデルの一部のみをメモリに保持し、必要に応じて残りをフラッシュから読み込むことで、約1 GBのRAMで8Bおよび16Bの混合エキスパート (MoE) モデルを動作させています。
仕組み
すべては、人気のあるオープンソースAI推論エンジン llama.cpp への パッチ です。主に4つの技術を使用しています:
チップ向けに構築されたカーネル — 各プロセッサに最適化されたカスタム低レベルコード。1-bitルックアップテーブルカーネル、Cortex-A55向けに再パックされた2-bitおよび三元フォーマット、ドット積命令を欠くApple A7向けのバージョンなどがあります。
モデルあたりのRAM消費削減 — 小型モデルの語彙の大部分はめったに使用されないため、それらの出力行は削除されます。TVボックスでは、「ヘッドレス」モードにより、モデル実行中にランチャーやGoogleサービスを停止します。
フラッシュからページングされるエキスパート — MoEモデルはトークンごとに少数の「エキスパート」しか使用しません。このプロジェクトでは、人気のあるエキスパートをRAMに保持し、必要に応じてフラッシュから他のエキスパートを読み込み、次のレイヤーのエキスパートをプリフェッチします。これが、1 GBのRAMで8Bおよび16Bモデルを動作させる仕組みです。
高密度モデルのストリーミング — RAMよりも大きなモデルの場合、重みはフラッシュの最大速度でストリーミングされます。
試す方法
Hugging Faceで公開されている既製のモデルファイルを使うのが最も簡単です。重要: これらのファイルにはパッチ適用済みのllama.cppが必要です。標準のllama.cppでは読み込めません。
- TVボックスまたはその他のARMv8.2 Androidデバイス:
docs/tv-box-setup.mdを参照 - 脱獄済みiOS 12 iPad:
ipad-air/README.mdを参照 - すべてのモデルファイルと再構築方法:
docs/models.mdを参照
リポジトリの内容
| パス | 内容 |
|---|---|
patches/ |
TVボックス用のllama.cppへのすべての変更(iPadのパッチは ipad-air/patches/ にあります) |
tools/ |
モデルの再構築、GGUFの書き換え、ベンチマーク、カーネルチェック |
tv-llm-ui/ |
ライブトークンストリームチャットページとそのランチャー |
ipad-air/ |
iOS 12ビルド、smolchat、デプロイおよびベンチマークスクリプト |
bench/ |
すべてのチャットベンチマーク (results.jsonl) と生のログ |
data/ |
語彙リストと評価用テキスト |
tiny-llm-web/ |
最初の実験:260Kパラメータのストーリーモデル |
zigcc/ |
静的aarch64バイナリをクロスコンパイルするためのZigラッパー |
ドキュメント
docs/tv-box.md— TVボックスで実行されたすべてのモデル、速度、品質ipad-air/README.md— iPad Airの結果、セットアップ、スクリプトdocs/how-it-works.md— カーネル、メモリの工夫、エキスパートページャー、ストリーミングエンジンdocs/models.md— ダウンロード、再構築ターゲット、チェックサムdocs/lessons.md— うまくいったこと、いかなかったことEXPERIMENT.md— 完全な実験ノート:160回の実験、失敗を含む
ライセンスとクレジット
- ライセンス: MIT。llama.cppのパッチはllama.cpp (MIT) の派生です。モデルの重みはそれぞれのライセンスに従います。評価用テキストはWikipediaからの抜粋 (CC BY-SA 4.0) です。
- ベース: llama.cpp および llama2.c。
- モデル提供: Qwen, unsloth, PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski, mradermacher, Google (Gemma), および karpathyのstories260K。
- その他: iPadはAmethystで脱獄済み。バナーはArchivoフォント (SIL OFL) を使用。🤏 ロゴはGoogleのNoto Emoji (Apache 2.0) です。
結論
smolmaxxingは、カスタムカーネル、積極的なメモリ削減、フラッシュからのモデル重みのストリーミングといった巧妙なエンジニアリングにより、約1 GBの利用可能なRAMしかないデバイスでも、驚くほど大きなAIモデル(16Bパラメータのものさえも)を動作させられることを証明しました。これらの技術は移植可能です。1-bitカーネルは基本的なNEON命令のみを必要とし、フラッシュストリーミングはRAMよりも大きなモデルを扱うあらゆるLinuxまたはAndroidデバイスで機能します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト