Indras-Mirror/Xolotl

解决的问题

Xolotl 允许用户在单台消费级游戏 PC 上运行大规模、前沿级别的 AI 模型，例如 5520 亿参数的 DeepSeek-V4.1。它通过分层内存系统解决了硬件门槛问题，该系统能智能地管理 VRAM、系统 RAM 和 NVMe 存储中的模型数据，而无需昂贵的服务器级硬件。

工作原理

该项目使用一种专门的引擎，将模型的“专家”（即模型中用于特定任务的部分）视为缓存。它将最常用的专家保留在 GPU 的 VRAM 中，同时将其余部分存储在系统 RAM 或高速 NVMe 驱动器中。当模型处理文本时，引擎会预测接下来需要哪些专家并及时获取它们。它还针对不同的模型架构进行了特定优化，例如推测解码和自定义量化，以在消费级硬件上保持高性能。

适用人群

Xolotl 专为拥有高端 NVIDIA GPU（如 RTX 4090）的开发人员和高级用户设计，他们希望在本地运行大型、无审查或前沿类语言模型，用于编码代理、工具调用或私有 AI 任务，而无需依赖外部 API 或服务器集群。

亮点

• 在单张 24GB VRAM 显卡上运行像 DeepSeek-V4.1 这样的大规模混合专家 (MoE) 模型。
• 提供与 OpenAI/Anthropic 兼容的服务器接口，便于与现有 AI 工具集成。
• 通过高效的内存管理支持长上下文窗口（最高 512K tokens）。
• 包含对话缓存、批处理和多 GPU 层拆分等高级功能。
• 提供对 Linux 和 Windows 环境的原生支持。