Janas LLM：通过 SSD 流式传输运行大型混合专家模型

概述

Janas-LLM 是一个实验性的推理引擎，旨在在 RAM 不足以容纳整个模型的消费级硬件上运行大型混合专家 (MoE) 语言模型。通过从 NVMe SSD 流式传输专家权重并将频繁访问的权重缓存在内存中，Janas-LLM 在类似硬件上实现了比传统基于 CPU 的推理方法高得多的令牌生成速度。

核心架构与性能

Janas-LLM 使用纯 C 语言编写，没有任何外部依赖。其主要创新在于内存管理策略：它不要求整个模型驻留在 RAM 中，而是将 SSD 视为内存层次结构的扩展。

在一台配备 Intel Core Ultra 9 185H、32 GB RAM 和 NVMe SSD 的测试机器上，Janas-LLM 展示了比 llama.cpp 等现有解决方案显著的性能提升。例如，在运行 80B 参数的 Qwen3-Next-80B-A3B 模型（超过了系统 32 GB RAM 的容量）时，Janas-LLM 的写入速度达到了每秒 24 个令牌 (tok/s)，而 llama.cpp 为 2.8 tok/s。提示词处理速度也有显著改善，Janas-LLM 达到了 62 tok/s，而 llama.cpp 为 16 tok/s。

实验性质与硬件考量

Janas-LLM 目前处于早期实验开发阶段。项目文档明确警告该引擎对机器“负载较重”，它利用 O_DIRECT 进行高速磁盘读取，并用专家缓存填满可用内存。

用户需要考虑的关键点包括：

• 系统稳定性： 由于引擎会激进地管理内存，它可能会迫使操作系统使用交换空间 (swap)，从而可能导致桌面无响应。用户报告称，如果引擎尝试加载的数据量超过了 GPU 的处理能力，可能会导致 GPU 驱动程序重置。
• SSD 磨损： 对高速磁盘流式传输的依赖引发了社区关于由于持续、大容量读取操作而可能增加 SSD 磨损的讨论。
• 硬件差异： 性能高度依赖于具体的机器配置。该项目包含一个 janas-bench 工具，旨在测量本地硬件性能，作者鼓励用户分享测试结果，以帮助针对更广泛的硬件优化引擎。

社区见解

围绕该项目的讨论反映了开源 AI 社区的一个更广泛趋势，即针对受限硬件优化本地推理。虽然一些社区成员指出其他项目中也探索过类似的技术，但另一些人强调了拥有多个相互竞争的 SSD 流式推理引擎实现的重要性。

"现在有很多这种从 SSD 流式传输专家的项目。我们需要的是一份涵盖所有这些项目的指南，或许有人能将它们各自的最佳功能合并成一个超级项目。" — Hacker News User

一些用户对在执行其他日常任务（如浏览网页或编码）时使用此类工具的实际可用性表示担忧，指出沉重的磁盘和内存使用可能会影响整体系统性能。其他人则指出了专用硬件的未来潜力，例如带有集成 NVMe 存储的专用加速器，理论上可以提供必要的带宽，将模型权重直接馈送到计算单元，而无需当前消费级架构中固有的瓶颈。