Edge0-AI/Edge0

edge0 – コンシューマーデバイス向けのストリーミングMoE推論

概要
edge0は、ノートPC、スマートフォン、Windows PCなどの日常的なハードウェア上で、大規模な疎な混合専門家（MoE）言語モデルを実行できるようにするオープンソースフレームワークです。必要な時にのみSSDから専門家の重みをストリーミングすることで、使用するRAM量をモデル全体ではなく、アクティブな専門家の数とほぼ同等に抑えます。

主要な技術

技術	重要性
SSD専門家オフロード	専門家のパラメータはディスクに保存され、必要に応じてmmmapされるため、350億パラメータのモデルを3 GiB未満のRAMで実行できます。
プリルーター (Prerouter)	小さな学習済みヘッドが次に必要な専門家を1ステップ先読みし、ディスクの読み込みとフォワードパスを重ね合わせます。デコードのスループットが最大で +59 % 向上したと報告されています。
リカバリーLoRA (Recover-LoRA)	ベースモデルはint4 (4-bit)に量子化されます。フル精度の教師モデルから蒸留して学習されたLoRAアダプターにより、失われた品質の大部分が回復されます。アダプターは別ファイルとして保持されるため、ベースのチェックポイントに触れることなく複数の微調整セットを使用できます。

対応プラットフォーム

プラットフォーム	言語 / スタック	ステータス
Python (macOS Apple Silicon)	Python + MLX	利用可能 – pip でインストール
macOS app & CLI	Rust	2026年9月30日オープンソース化
iOS app	Swift + MLX-Swift	2026年9月30日オープンソース化
Android app & engine	Kotlin + native engine	2026年9月30日オープンソース化
Windows app & engine	C++ + Vulkan	2026年9月30日オープンソース化

これらのプラットフォームの違いを隠蔽する統一推論フレームワークが2026年第4四半期に予定されています。

モデルティア

ティア	チェックポイント	サイズ / 専門家	プリルーター K
edge0-35b	Hugging Face	4-bit, 40層, 256専門家	4
edge0-8b	Hugging Face	4-bit, 24層, 128専門家	8

各チェックポイントにはベースの重み、LoRAアダプター、プリルーターヘッドが同梱されているため、1回のダウンロードですぐに実行可能なモデルが得られます。

パフォーマンス
ベンチマークはMac mini M4 Pro (24 GB RAM)で実行。

• edge0-35b: 14.9-17.7 tokens / s デコード、2.9 GiB ピークアクティブメモリ。
• edge0-8b: 23.9-25.3 tokens / s デコード、1.0 GiB ピークアクティブメモリ。

元のfp16モデルと比較した品質低下はわずかです（MMLU-Proで平均約3ポイント、一部のベンチマークではベースモデルを上回ることもあります）。

はじめに (Python)

# clone and create a venv
cd python
python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'

# download a model (the script pulls both base and adapters)
.venv/bin/python scripts/fetch_models.py --tier edge0-35b --target-dir models

# set env var or pass the path directly
export EDGE0_35B_MODEL=$PWD/models/edge0-35b

# quick demo
edge0 demo edge0-35b

# serve an OpenAI-compatible endpoint
edge0 serve edge0-35b   # then POST to http://127.0.0.1:8000/v1/chat/completions

同じエンジンを AutoEngine.from_pretrained(...) を介してPythonコードから使用できます。

ロードマップ (2026年第4四半期)

• 正しいネイティブランタイム（iOS、Android、Windows、macOS、Python）を自動的に選択する単一の統一API。
• Linux/デスクトップGPU向けのCUDAバックエンド。
• SSDストリーミングと自然に適合する次世代アーキテクチャ（ハイブリッド線形アテンション、N-gramテーブル）のサポート。
• 専門家のルーティングをトークン単位からブロック単位に移行し、レイテンシをさらに削減する潜在的思考の最適化。

ライセンス
Apache-2.0 (LICENSE を参照)。

---

上記の詳細はすべてリポジトリのREADMEから直接引用しています。