JustVugg/colibri

colibri 是一个精简的纯 C 引擎，能在普通电脑上运行超大型开源 AI 模型（混合专家语言模型、视觉模型及决策模型）——无需 GPU，但若有 GPU 则可加速。其核心技术在于，像 GLM-5.2 (744B 参数) 这样的大型模型在处理每个 token 时仅会激活一小部分权重，因此 colibri 将常驻的“密集”部分保留在 RAM 中，并根据需求从磁盘流式读取极少使用的“专家”权重。这使得原本需要数百 GB VRAM 的模型，能在仅有 8–16 GB RAM 和快速 NVMe 硬盘的机器上运行。

运作原理

• 混合专家 (MoE) 模型拥有许多平行的“专家”子网络；每个 token 仅使用其中少数几个。colibri 利用了这种稀疏性。
• 密集层（注意力机制、共享专家、嵌入层）常驻于 RAM。路由专家则通过缓存从磁盘读取，该缓存会学习您的对话习惯。
• 若有 GPU，它可承载最热门的专家与密集层以加速推理。引擎支持 Vulkan（任何具备 Vulkan 1.2 驱动的 GPU）与 CUDA（Linux/Windows 上的 NVIDIA 显卡）。
• 引擎以 C 语言编写，每个模型系列对应一个文件，旨在实现可审计与可测量——是一个开放的研究平台。

支持模型

• 语言模型：GLM-5.2/5.3, DeepSeek V4 Flash, Kimi K3 (2.8T 参数), Qwen3.6, Qwen3-Coder, OLMoE 等。
• 图像生成：Qwen-Image-2.1。
• 决策模型（快速、单一答案分类器）：Laya, GLiNER2.5-Decide, Clef。
• 所有模型均为开源权重，并从 Hugging Face 下载。

入门指南

• 提供 Windows, Linux, macOS 的一键安装程序：下载后执行 START-HERE.bat 或 ./start-here.sh，回答一个问题（选择模型），它会自动检测硬件、推荐适合模型、构建/下载引擎、下载模型，并启动带有浏览器仪表板的本地服务器。
• 服务器提供兼容 OpenAI 与 Anthropic 的 API，方便您整合至现有工具。
• MCP 服务器 (coli mcp) 允许 AI 编码助手以程序化方式安装与管理 colibri。

主要功能

• 磁盘流式读取：通过按需读取专家权重，让模型能在远大于 RAM 的空间下运行。
• GPU 加速：可选配 Vulkan 或 CUDA 构建；安装程序会自动为您的硬件选择最佳后端。
• 透明且可测量：每项优化均有可重现的基准测试支持；仪表板可实时显示专家激活状态。
• 可恢复下载：强大的安装机制可处理缺失包、GPU 驱动问题及磁盘空间不足问题。

硬件需求

• 最低 8 GB RAM（建议 16 GB 以上），最小模型需 22 GB 可用磁盘空间，需网络连接。GPU 为选配。
• 对于大型模型，快速的 NVMe SSD 至关重要——磁盘速度会限制 token 生成速度。

重要意义 colibri 让大众能在现有硬件上运行前沿级别的开源模型，实现了民主化访问，且不牺牲模型精确度或路由语义。它既是实用工具，也是高效 MoE 推理的研究平台。