antirez/ds4

解决的问题

DwarfStar 提供了一种在消费级硬件（如 MacBook、NVIDIA GPU 和 Strix Halo 系统）上运行高性能大语言模型（LLM）的方法。它特别解决了模型规模超过可用系统内存的挑战，通过实现 SSD 流式传输和跨多台机器的分布式推理来应对。

工作原理

它是一个专为少数高质量模型（包括 DeepSeek V4、GLM 5.x 和 Qwen3.8 Flash Next）优化的原生、自包含推理引擎，而非通用运行器。它利用 GGUF 文件，并结合了 RDMA 实现的多 Mac 环境下的张量并行、跨系统整合内存的流水线并行，以及提升生成速度的推测解码技术。该项目基于 llama.cpp 和 GGML 的工程基础构建。

适用人群

拥有高端个人硬件（如 96GB+ Mac、DGX Spark 或多 GPU NVIDIA 配置）并希望在本地运行强大开源权重模型的用户。同时也为使用 AI 编码代理来根据特定硬件配置定制和优化软件的开发者设计。

主要亮点

• 硬件优化：原生支持 Metal（Apple Silicon）、NVIDIA CUDA（含 Ada Lovelace/L40S）和 ROCm。
• 内存管理：SSD 流式传输支持运行超出可用 RAM 的模型。
• 分布式推理：支持通过 RDMA 实现 Mac 间的张量并行，以及跨多个系统的流水线并行。
• 集成工具：包含原生编码代理（ds4-agent）、用于 API 访问的 HTTP 服务器，以及功能评估工具（ds4-eval）。
• 高级 LLM 功能：支持多模态输入的视觉编码器、输出控制的方向性引导，以及可调节的“思考”层级以控制推理努力程度。