Mesh-LLM/mesh-llm

解决的问题

Mesh LLM 允许用户整合多台机器的 GPU 与内存资源，以运行单台电脑无法负载的大型语言模型 (LLMs)。它提供了一个统一且兼容 OpenAI 的 API，让用户能轻松整合现有工具，同时将计算负载分散至节点网络中。

运作原理

系统由两个主要组件组成：Skippy（负责模型管理、原生推理与分割执行）以及 Mesh（负责节点发现、路由与用户界面）。

核心机制包括：

• Mesh Routing：将请求路由至具备服务该模型能力的节点。
• Encrypted Transport：使用 QUIC 进行节点间的端对端加密通讯。
• Skippy Stage Splits：针对单机无法容纳的模型，系统会将模型分割为连续的层范围（阶段）并分布于多个节点。
• Layer Packages：节点仅下载其分配阶段所需的特定 GGUF 片段。
• Mixture-of-Agents (MoA)：一项实验性功能，将单一提示词发送至网格中的所有模型，并将响应整合为单一回复。

适用对象

• 硬件受限的用户：希望在不同机器上的小型 GPU 集合上运行大型模型的人。
• 开发者：需要分布式 LLM 推理且兼容 OpenAI 端点的人。
• 自架服务者：希望建立私人或公开网格以共享 AI 资源的用户。

特色亮点

• 兼容 OpenAI 的 API：可与现有的 LLM 客户端无缝整合。
• 分布式推理：支持通过阶段分割将大型模型分布于多台机器。
• 广泛的模型支持：兼容于多种 GGUF 模型系列 (Qwen, Llama, Mistral, DeepSeek 等)。
• 跨平台：支持 macOS, Linux 与 Windows (具备 CUDA, ROCm, Vulkan 与 Metal 支持)。
• 实验性 MoA：能够平行查询多个模型并合并结果。