hyperionaidev/smolmaxxing

maxxing the ability to run different LLMs on the smallest devices possible

smolmaxxing — 小型ハードウェアで巨大なAIモデルを動かす

プロジェクトの概要

smolmaxxingは、TVボックス、古いタブレット、シングルボードコンピュータ、ルーターといった非常に低スペックなデバイスで大規模言語モデル (LLMs) を動作させるプロジェクトです。目標は「手持ちの最小のハードウェアで、可能な限り最大の言語モデルを動かす」ことです。260Kから16Bパラメータまでのモデルをカバーしています。

解決する課題

ほとんどの小型デバイス(TVボックス、古いタブレット、ルーター)は、CPU、RAM、フラッシュストレージを搭載していますが、一日の大半はアイドル状態です。通常、最新のAIモデルを動かすには、大容量メモリを搭載した強力なコンピュータが必要です。smolmaxxingは、各低スペックデバイスで実際に動作可能な最大モデルを特定し、カスタムコード、慎重なメモリ管理、フラッシュストレージからの重みストリーミングによって限界を押し広げます。リポジトリ内のすべてのパフォーマンス数値は、実機で測定されたものです。

これまでにテストされたデバイス

Xiaomi TV Box S (第3世代) iPad Air (2013)
チップ Amlogic S7D, 4× Cortex-A55 Apple A7, 2コア
RAM 1.9 GB (約1 GB使用可能) 1 GB (約700 MB使用可能)
OS Android 14, root化なし iOS 12.5.7, 脱獄済み
日常モデル Qwen3.5-2B, 7.7 トークン/秒 Bonsai-1.7B (1-bit), 24–26 トークン/秒
最大モデル Ling-mini-2.0, 16B, 5.1 トークン/秒 Ling-mini-2.0, 16B, 2.6–4.5 トークン/秒

どちらのデバイスも、モデルの一部のみをメモリに保持し、必要に応じて残りをフラッシュから読み込むことで、約1 GBのRAMで8Bおよび16Bの混合エキスパート (MoE) モデルを動作させています。

仕組み

すべては、人気のあるオープンソースAI推論エンジン llama.cpp への パッチ です。主に4つの技術を使用しています:

  1. チップ向けに構築されたカーネル — 各プロセッサに最適化されたカスタム低レベルコード。1-bitルックアップテーブルカーネル、Cortex-A55向けに再パックされた2-bitおよび三元フォーマット、ドット積命令を欠くApple A7向けのバージョンなどがあります。

  2. モデルあたりのRAM消費削減 — 小型モデルの語彙の大部分はめったに使用されないため、それらの出力行は削除されます。TVボックスでは、「ヘッドレス」モードにより、モデル実行中にランチャーやGoogleサービスを停止します。

  3. フラッシュからページングされるエキスパート — MoEモデルはトークンごとに少数の「エキスパート」しか使用しません。このプロジェクトでは、人気のあるエキスパートをRAMに保持し、必要に応じてフラッシュから他のエキスパートを読み込み、次のレイヤーのエキスパートをプリフェッチします。これが、1 GBのRAMで8Bおよび16Bモデルを動作させる仕組みです。

  4. 高密度モデルのストリーミング — RAMよりも大きなモデルの場合、重みはフラッシュの最大速度でストリーミングされます。

試す方法

Hugging Faceで公開されている既製のモデルファイルを使うのが最も簡単です。重要: これらのファイルにはパッチ適用済みのllama.cppが必要です。標準のllama.cppでは読み込めません。

  • TVボックスまたはその他のARMv8.2 Androidデバイス: docs/tv-box-setup.md を参照
  • 脱獄済みiOS 12 iPad: ipad-air/README.md を参照
  • すべてのモデルファイルと再構築方法: docs/models.md を参照

リポジトリの内容

パス 内容
patches/ TVボックス用のllama.cppへのすべての変更(iPadのパッチは ipad-air/patches/ にあります)
tools/ モデルの再構築、GGUFの書き換え、ベンチマーク、カーネルチェック
tv-llm-ui/ ライブトークンストリームチャットページとそのランチャー
ipad-air/ iOS 12ビルド、smolchat、デプロイおよびベンチマークスクリプト
bench/ すべてのチャットベンチマーク (results.jsonl) と生のログ
data/ 語彙リストと評価用テキスト
tiny-llm-web/ 最初の実験:260Kパラメータのストーリーモデル
zigcc/ 静的aarch64バイナリをクロスコンパイルするためのZigラッパー

ドキュメント

  • docs/tv-box.md — TVボックスで実行されたすべてのモデル、速度、品質
  • ipad-air/README.md — iPad Airの結果、セットアップ、スクリプト
  • docs/how-it-works.md — カーネル、メモリの工夫、エキスパートページャー、ストリーミングエンジン
  • docs/models.md — ダウンロード、再構築ターゲット、チェックサム
  • docs/lessons.md — うまくいったこと、いかなかったこと
  • EXPERIMENT.md — 完全な実験ノート:160回の実験、失敗を含む

ライセンスとクレジット

  • ライセンス: MIT。llama.cppのパッチはllama.cpp (MIT) の派生です。モデルの重みはそれぞれのライセンスに従います。評価用テキストはWikipediaからの抜粋 (CC BY-SA 4.0) です。
  • ベース: llama.cpp および llama2.c。
  • モデル提供: Qwen, unsloth, PrismML (Bonsai), inclusionAI (Ling-mini-2.0), tablinum (Moon-Beam), bartowski, mradermacher, Google (Gemma), および karpathyのstories260K。
  • その他: iPadはAmethystで脱獄済み。バナーはArchivoフォント (SIL OFL) を使用。🤏 ロゴはGoogleのNoto Emoji (Apache 2.0) です。

結論

smolmaxxingは、カスタムカーネル、積極的なメモリ削減、フラッシュからのモデル重みのストリーミングといった巧妙なエンジニアリングにより、約1 GBの利用可能なRAMしかないデバイスでも、驚くほど大きなAIモデル(16Bパラメータのものさえも)を動作させられることを証明しました。これらの技術は移植可能です。1-bitカーネルは基本的なNEON命令のみを必要とし、フラッシュストリーミングはRAMよりも大きなモデルを扱うあらゆるLinuxまたはAndroidデバイスで機能します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト