FlashML-org/FreeToken

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

FreeToken – 边缘原生 Mixture-of-Experts (MoE) 推理引擎

简介 – FreeToken 是一个开源运行时，专为在消费级硬件（如游戏 PC 和笔记本电脑）上运行超大型 Mixture-of-Experts 语言模型（例如 290B 参数模型）而设计。它将 CPU、GPU、主机内存和互连视为一个弹性的推理平台，让您无需数据中心即可运行前沿规模的开放权重模型。

主要功能

带宽自适应 CPU-GPU 协同执行 – 采用自定义的 $q^\star$ 调度策略，根据当前带宽在 CPU 和 GPU 之间分配工作，确保推理速度。
双缓冲预填充串流 – 以管线方式串流模型层，降低长提示词的延迟。
全局 LRU 专家快取与语义感知检查点 – 将频繁使用的专家与 KV 快取状态保留在最近最少使用 (LRU) 快取中；语义锚点让您无需重新计算整个提示词即可编辑上下文（例如工具调用）。
弹性 VRAM 管理 – 引擎可在专家权重与 KV 内存之间即时重新分配 GPU 内存，无需重启。
广泛的模型与格式支持 – 支持如 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等开放权重 MoE 模型，并接受 MXFP4、NVFP4、FP8、BF16 等量化格式。
API 兼容性 – 提供 Anthropic/OpenAI 风格的端点，现有的代理程序（如 Codex、Claude Code 等）无需修改即可调用此引擎。
硬件覆盖 – 原生支持 NVIDIA RTX 30/40/50 系列 GPU；在没有 GPU 时也可在 CPU 上运行。

如何开始

桌面应用程序 – 从 https://flashml.ai 下载预先构建的 Windows 或 Linux 套件。GUI 界面让您能加载模型、聊天并调整运行时设置。
CLI – 使用现代 Python 包管理器 uv 安装：
```
uv pip install "freetoken[accel]"
```
或从源代码构建：
```
git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"
```
详细文档位于 docs/ 文件夹中（安装、快速入门、支持的模型、CLI 参考、检查点热修复）。

重要性 – 传统的 MoE 推理需要具备高速互连的多 GPU 集群。FreeToken 将此能力带到了边缘设备，使交互式 AI 应用（代码助手、工具调用代理等）能在单台消费级机器上运行，同时保持低内存占用与低延迟。

引用 – 若您在研究中使用此引擎，请引用随附的 arXiv 论文 (arXiv:2608.16157)。

致谢 – 本项目建立在 mini-sglang、vLLM、FlashInfer、LightLLM 和 llama.cpp 的构想之上，并以 Apache-2.0 许可协议发布。