jesdga95/basalt

解决的问题

Basalt 允许您在单台工作站上运行庞大的 Qwen3.8-Flash-Next 混合专家模型。它通过智能地将无法放入 GPU 显存 (VRAM) 的模型部分卸载到系统内存或辅助 GPU，从而解决了内存限制问题。

工作原理

Basalt 作为一个本地推理引擎，通过兼容 OpenAI 和 Anthropic 标准的 API 提供模型服务。它使用一种自定义文件格式，将权重、分词器和专家配置文件打包成单个文件。在运行时，它动态管理“专家”（模型的专用组件），将最活跃的组件保留在 VRAM 中，同时利用系统内存处理其余部分。它专为 NVIDIA Blackwell GPU 设计。

适用人群

该工具专为拥有高端硬件（特别是 NVIDIA Blackwell GPU）的开发人员和高级用户设计，他们需要在本地运行大型、复杂的 AI 模型，而无需庞大的服务器集群。

主要亮点

• 在单台工作站上运行大型混合专家模型。
• 提供兼容 OpenAI 和 Anthropic 的 API，便于集成。
• 支持将模型组件卸载到系统内存或第二个 GPU。
• 包含用于监控和交互的内置 Web 界面。
• 提供针对不同性能和质量需求优化的专用模型包。