mw00/project-maya

解决的问题

Project Maya 允许用户在消费者级硬件上运行庞大的 GLM-5.3-Flash 模型（3210 亿参数）。通常，这种规模的模型需要配备数百 GB GPU 显存的企业级服务器；Maya 通过实现分层内存系统，将模型专家分布在 VRAM、RAM 和 NVMe SSD 之间，并在对话过程中根据需要进行移动，从而实现了这一点。

运作原理

该引擎使用混合专家 (MoE) 架构，每个 token 仅有总参数的一小部分（约 18B）处于活动状态。Maya 通过将最常使用的专家保留在 GPU 的 VRAM 中，次常用的保留在系统 RAM 中，其余的保留在快速 NVMe SSD 上来进行优化。它通过 MTP 模块支持推测解码以预先草拟 token，并提供多种量化版本的模型（Maya-S、S24、M、M-Derisked 和 L）以平衡准确性和硬件需求。

目标客群

专为拥有 NVIDIA GPU (V100 或更新版本) 或特定 AMD GPU (实验性) 并运行 Linux 或 Windows 的 AI 爱好者和开发者设计，他们希望在本地运行高参数模型，而无需庞大的 GPU 集群。

特色亮点

• 分层内存管理：在 VRAM、RAM 和 SSD 之间动态交换专家，以将庞大的模型放入有限的硬件中。
• 多 GPU 支持：可扩展至多达 16 个 GPU，根据可用 VRAM 分割层。
• 兼容 OpenAI 与 Anthropic：提供与现有工具和编码代理兼容的 API。
• 视觉能力：包含用于多模态输入的图像编码器。
• 自定义量化：提供多种模型大小（从 96.5 GB 到 156.3 GB），针对不同的内存池进行调整。