prabanta-dev/janas

解决的问题

Janas-LLM 解决了在内存有限的消费级硬件上运行大规模、高参数混合专家（MoE）语言模型的挑战。通过从 NVMe SSD 流式加载模型权重，并在内存中缓存常用专家，它使得大型模型（如 800 亿参数变体）能够在配备 32GB 内存的标准笔记本电脑上运行。

工作原理

该引擎使用 C 语言编写，无外部依赖，采用自定义架构来管理模型权重。它将模型的大部分保留在磁盘上，并仅将所需的专家动态加载到活动内存缓存中。它在可用时利用硬件加速（Vulkan），并使用直接 I/O（O_DIRECT）最大化磁盘读取速度，使其在特定硬件配置上的推理速度常常超过 llama.cpp 等成熟框架。

适用人群

该项目面向希望在消费级硬件（Linux 或 Windows x86-64）上本地运行大规模 LLM 的开发者和高级用户，并对高性能、低依赖的 C 语言 AI 推理引擎实现感兴趣。

亮点

• 通过从磁盘流式加载专家，在 32GB 内存的笔记本电脑上运行 800 亿参数模型。
• 高性能 C 语言实现，无外部库依赖。
• 内置支持 MCP（模型上下文协议），可与 AI 代理和编辑器集成。
• 提供兼容 OpenAI 的 HTTP 服务器，以及针对 VS Code 等 IDE 的代码补全功能。
• 包含原生基准测试工具，用于在特定硬件上测量和优化性能。