mesh-llm: 一个跨机器池化 GPU 和内存资源的分布式推理系统，用于运行大规模 LLM

它解决了什么问题

Mesh LLM 允许用户跨多台机器池化 GPU 和内存资源，以运行单个计算机无法承载的大语言模型 (LLM)。它提供了一个统一的、与 OpenAI 兼容的 API，使得在将计算负载分布到对等网络的同时，能够轻松地与现有工具集成。

工作原理

• 资源池化：它将多个节点连接成一个“mesh”，其中每个节点既可以托管一个完整的模型，也可以作为更大分布式系统的一部分。
• 智能路由：请求被路由到最适合提供该模型的对等节点。如果模型可以容纳在单台机器上，它将在本地运行；否则，它将被路由到对等节点。
• Skippy Stage Splits：对于任何单台机器都无法容纳的超大型模型，系统会将模型拆分为连续的层范围（stages）。节点仅获取必要的 GGUF fragments (layer packages) 来提供其分配的 stage。
• 发现机制：用户可以通过 Nostr discovery 加入公共 mesh，或者使用邀请令牌创建私有 mesh。
• Mixture-of-Agents (MoA)：一个实验性功能，它将单个提示词分发到 mesh 中每个可用的模型，并通过仲裁响应来返回一个统一的合并回复。

适用人群

• 硬件受限的用户：希望通过与其他用户池化资源，在消费级硬件上运行大规模模型的人。
• 开发者：需要用于分布式 LLM 推理的 OpenAI 兼容 API 的人。
• 自托管用户：希望部署私有或公共分布式推理集群的用户。

亮点

• OpenAI-compatible API：与现有的 LLM 应用无缝集成。
• 支持超大型模型：支持广泛的模型家族 (Qwen, Llama, Gemma, Mistral, DeepSeek, 等) 以及多模态模型。
• 灵活的部署：支持多种后端，包括 CUDA, ROCm, Vulkan, 和 Metal。
• 分布式执行：针对大规模模型在多个节点上实现基于层的拆分。
• 实验性 MoA Gateway：跨多个模型进行并行执行，并带有确定性仲裁。