mesh-llm：一個分散式推理系統，將多台機器的 GPU 與記憶體資源彙集起來，以執行巨型 LLM

它解決了什麼問題

Mesh LLM 允許使用者將多台機器的 GPU 與記憶體資源彙集成「網格」，以執行在單台電腦上無法容納的大型語言模型（LLM）。它提供與 OpenAI 相容的統一 API，讓使用者能輕鬆將其整合至現有工具，同時將計算負載分散至多個節點。

工作原理

• 資源彙集：將多個節點連接成一個「網格」，每個節點可以完整托管模型，或作為更大分散系統的一部份。
• 智慧路由：請求會被導向最適合提供模型的節點。如果模型能在單機上運行，則在本機執行；否則會被路由至其他節點。
• Skippy 階段切分：對於單機無法容納的模型，系統會將模型切分為連續的層範圍（階段）。節點只下載執行其負責階段所需的 GGUF 片段（層封包）。
• 發現機制：使用者可透過 Nostr 發現加入公共網格，或使用邀請代碼建立私有網格。
• Mixture-of-Agents（MoA）：實驗性功能，將單一提示同時發送給網格中所有可用模型，並仲裁回應以產生單一綜合回覆。

目標使用者

• 硬體受限的使用者：希望透過與他人彙集資源，在消費級硬體上運行巨型模型的人。
• 開發者：需要 OpenAI 相容 API 以進行分散式 LLM 推理的開發者。
• 自行託管者：想部署私有或公共分散式推理叢集的使用者。

重點特色

• OpenAI 相容 API：可無縫整合至現有 LLM 應用。
• 龐大模型支援：支援多種模型族群（Qwen、Llama、Gemma、Mistral、DeepSeek 等）以及多模態模型。
• 彈性部署：支援多種後端，包括 CUDA、ROCm、Vulkan 與 Metal。
• 分散式執行：實作基於層的切分，讓巨型模型可跨多節點運行。
• 實驗性 MoA 閘道：在多模型間平行執行，並以確定性仲裁產生回應。

---

摘要： 一個分散式推理系統，將多台機器的 GPU 與記憶體資源彙集起來，透過 OpenAI 相容的 API 提供大型語言模型服務。

標題： mesh-llm：一個分散式推理系統，將多台機器的 GPU 與記憶體資源彙集起來，以執行巨型 LLM