Mesh-LLM/mesh-llm

解決的問題

Mesh LLM 允許使用者將多台機器的 GPU 與記憶體資源進行池化，執行原本單一電腦無法承載的大規模語言模型（LLMs）。它提供統一的 OpenAI 相容 API，便於與現有 AI 工具整合，同時將計算負載分散至多個節點組成的網路中。

工作原理

• 分散式路由：網格網路中的每個節點皆公開相同的 API。請求會被路由至能托管所請求模型的對等節點。
• Skippy 階段拆分：對於超出任何單台機器容量的模型，系統使用「階段拆分」，將模型劃分為連續的層範圍，並分布到多個節點。每個節點處理模型的一部分，並將激活值傳遞給下一階段。
• 加密傳輸：節點之間的流量（包括推論請求與模型激活值）使用 QUIC 進行端對端加密。
• 發現機制：節點可透過 Nostr 發現加入公開網格，或透過邀請金鑰加入私人網格。
• 混合代理（MoA）：一項實驗性功能，將單一提示分發至網格中的每個模型，仲裁回應後返回一個統一的綜合回覆。

適用對象

• 硬體受限使用者：希望在消費級硬體上透過資源池化執行超大型模型的人。
• 開發者：需要 OpenAI 相容端點用於分散式 LLM 服務的開發者。
• 系統運維人員：希望建立私人或公開分散式推論叢集的使用者。

核心亮點

• OpenAI 相容 API：與現有 LLM 應用無縫整合。
• 廣泛模型支援：支援多種 GGUF 基礎模型家族（Qwen、Llama、Mistral、DeepSeek 等）。
• 跨平台支援：支援 macOS、Linux 與 Windows（支援 CUDA、ROCm、Vulkan 與 Metal）。
• 動態擴展：可從單一節點開始，依需求向網格中新增更多節點。