Mesh-LLM/mesh-llm

解決的問題

Mesh LLM 透過允許多台機器協同工作，解決了執行大型語言模型時的硬體限制問題。它透過將工作負載分散到網路節點中，使用戶能夠執行單一裝置無法承載的超大型模型，並為整個集群提供統一的 OpenAI 相容 API。

工作原理

該系統採用網格（mesh）架構，每個節點都公開相同的 API。當請求到達時，網格會根據請求的模型將其路由到適當的對等節點。如果模型對於單台機器來說太大，系統會使用 "Skippy stage splits" 將模型層分散到不同的節點。它還具有實驗性的 "Mixture-of-Agents" 模式，可以將單個提示詞擴展到網格中的多個模型，進行仲裁並回傳單一回應。

適用對象

• 個人用戶：希望透過連接多台現有電腦來執行巨型模型的用戶。
• 開發者：需要用於分散式模型推理的 OpenAI 相容介面之開發者。
• 營運者：希望為共享 AI 計算構建私有或公共硬體網格的營運者。

亮點

• 分散式推理： 匯集多台機器的 GPU 與記憶體。
• OpenAI 相容性： 提供標準的 /v1 API，便於與現有工具整合。
• 階段拆分： 使用 Skippy 執行期將大型模型拆分為可在各節點管理的層。
• 網格發現： 支援透過 Nostr 進行公共發現，或透過邀請令牌進行私有網格。
• 多模型仲裁： 實驗性的 Mixture-of-Agents (MoA) 功能，用於聚合來自多個模型的響應。