Edge0-AI/Edge0

edge0 – 用于消费级设备的流式 MoE 推理

它是什么
edge0 是一个开源框架，让您可以在日常硬件（笔记本电脑、手机甚至 Windows 电脑）上运行大型稀疏混合专家（MoE）语言模型。它通过仅在需要时从 SSD 流式传输专家权重来实现这一点，使使用的 RAM 量大致等于活跃专家的数量，而不是整个模型的大小。

关键技术

技术	重要性
SSD 专家卸载	专家参数存储在磁盘上并按需进行 mmap，因此 350 亿参数的模型可以在 < 3 GiB 的 RAM 下运行。
预路由 (Prerouter)	一个微小的训练头可以提前一步预测需要哪些专家，将磁盘加载与前向传递重叠。作者报告解码吞吐量最高提升了 +59 %。
恢复 LoRA (Recover-LoRA)	基础模型被量化为 int4 (4-bit)。通过从全精度教师模型蒸馏训练的 LoRA 适配器，恢复了大部分损失的质量。适配器保持为单独文件，允许在不触动基础检查点的情况下使用多个微调集。

支持的平台

平台	语言 / 技术栈	状态
Python (macOS Apple Silicon)	Python + MLX	就绪 – 通过 pip 安装
macOS app & CLI	Rust	2026 年 9 月 30 日开源
iOS app	Swift + MLX-Swift	2026 年 9 月 30 日开源
Android app & engine	Kotlin + native engine	2026 年 9 月 30 日开源
Windows app & engine	C++ + Vulkan	2026 年 9 月 30 日开源

一个隐藏这些平台差异的统一推理框架计划于 2026 年第四季度推出。

模型层级

层级	检查点	大小 / 专家	预路由 K
edge0-35b	Hugging Face	4-bit, 40 层, 256 专家	4
edge0-8b	Hugging Face	4-bit, 24 层, 128 专家	8

每个检查点都捆绑了基础权重、LoRA 适配器和预路由头，因此单次下载即可获得可立即运行的模型。

性能
基准测试在 Mac mini M4 Pro (24 GB RAM) 上运行。

• edge0-35b: 14.9-17.7 tokens / s 解码，2.9 GiB 峰值活跃内存。
• edge0-8b: 23.9-25.3 tokens / s 解码，1.0 GiB 峰值活跃内存。

与原始 fp16 模型相比，质量损失很小（在 MMLU-Pro 上平均约 3 个点，部分基准测试甚至超过了基础模型）。

入门指南 (Python)

# clone and create a venv
cd python
python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'

# download a model (the script pulls both base and adapters)
.venv/bin/python scripts/fetch_models.py --tier edge0-35b --target-dir models

# set env var or pass the path directly
export EDGE0_35B_MODEL=$PWD/models/edge0-35b

# quick demo
edge0 demo edge0-35b

# serve an OpenAI-compatible endpoint
edge0 serve edge0-35b   # then POST to http://127.0.0.1:8000/v1/chat/completions

相同的引擎可以通过 AutoEngine.from_pretrained(...) 从 Python 代码中使用。

发展路线图 (2026 年第四季度)

• 单一统一 API，可自动选择正确的原生运行时（iOS、Android、Windows、macOS、Python）。
• 用于 Linux/桌面 GPU 的 CUDA 后端。
• 支持与 SSD 流式传输自然契合的下一代架构（混合线性注意力、N-gram 表）。
• 潜在思维优化，将专家路由从每个 token 转移到每个块，进一步降低延迟。

授权
Apache-2.0 (参见 LICENSE)。

---

以上所有详细信息均直接取自仓库的 README。