sqliteai/warp

Run the full 2.78-trillion-parameter Kimi K3 model, DeepSeek V4.1 Flash or GLM-5.3-Flash beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.

WARP とは何か？

WARP（Weight‑Aware Runtime and Paging）は、C言語で書かれた非常に小さく自己完結型の推論エンジンです。GPUや外部ライブラリを必要とせずに、ラップトップやデスクトップ上で非常に大きな混合専門家（MoE）言語モデル（例：2.78兆パラメータのKimi K3）を実行できます。

動作方法

ハイブリッドメモリレイアウト – モデルの共有部分（「トランク」）はRAMに常駐し、巨大な専門家重みは高速ストレージ（SSD）に保存されます。トークン処理時に、エンジンは必要な専門家を予測し、ディスクから専門家ブロックをストリーミングし、制限付きのRAM内専門家キャッシュに保持します。
先読みルーティング – 軽量ルーターが次のレイヤーの専門家を早期に予測することで、ディスク読み取りと計算を重ね、待機時間を削減します。
量子化 – 共有重みは4ビットまたは8ビット精度で保持され、専門家は3ビットの残差ベクトル量子化を使用し、ディスク上のサイズを削減します。
効率的なKVキャッシュ – 線形アテンションと圧縮されたキー・バリュー・キャッシュにより、コンテキストメモリを非常に小さく（4Kコンテキストで約0.2GB）保ちます。

実行可能なモデル

モデル	サイズ（コンテナ）	最低RAM	速度（トークン／秒）
Kimi K3 2.78 T	982 GB	29 GB	0.45 – 0.62（64トークン実行）
DeepSeek‑V4.1‑Flash 552 B	299 GB	4.9 GB	3.7
GLM‑5.3‑Flash 313 B	112 GB	5.1 GB	3.3 – 3.9
Kimi‑Linear 48 B	19 GB	1.3 GB	14 – 17

エンジンはマルチモーダル入力も対応しています。--image を使って画像を添付すると、モデルのビジョンタワーがそれらを処理します。

使い始め

ビルド – make で waste CLI と静的ライブラリ（libwaste.a）がコンパイルされます。BLAS、CUDA、Python、その他のランタイム依存関係は必要ありません。
実行 – 例：
```
./waste run ~/models/k3.waste "What is the capital of Italy?"
```
CLIはメモリ使用量、キャッシュヒット/ミス率、スループットを報告します。
モデル変換 – Python変換スクリプト（convert.py）は、公開チェックポイント（safetensors、fp8など）をWARPコンテナフォーマットに変換します。変換には追加の一時ストレージ（Kimi K3では最大約1.5TB）が必要ですが、変換後のコンテナはRAM/ストレージ要件を満たす任意のマシンで使用可能です。

なぜ重要なのか

最先端モデルのローカル推論 – 2兆パラメータを超えるモデルの多くは、数十GBのGPUメモリを必要とします。WARPは、SSDから専門家をストリーミングすることで、消費者向けCPUでもこのようなモデルを実行可能であることを示しています。
オープンで埋め込み可能 – エンジンは1つのCライブラリで、許容的なビルド条件を持つため、他のアプリケーションやサービスに簡単に埋め込み可能です。
人間が関与する開発 – コードベースはLLMによって人間の指示のもと生成されており、新しい推論アルゴリズムの迅速プロトタイピングの新しいワークフローを示しています。

これに注目すべき人

大規模MoEモデルのCPUオンリー推論を探索する研究者。
オフライン、プライバシー保護型LLMランタイムが必要な開発者（クラウド不要、GPUドライバ不要）。
重み意識型ページング技術や、現代のSSDをAIワークロードに最大限に活用する方法に興味がある人。

TL;DR: WARPはC言語のみ、依存関係ゼロのエンジンで、ディスクからMoE専門家重みをストリーミングし、メモリが限られたラップトップでもトリアンパラメータ言語モデルを実行できます。CLI、静的ライブラリ、テキスト＋画像生成をサポートしています。