Mesh-LLM/mesh-llm

解決する課題

Mesh LLMを使用すると、ユーザーは複数のマシン間でGPUとメモリリソースをプールし、単一のコンピュータでは大きすぎて実行できない大規模言語モデル（LLM）を動かすことができます。OpenAI互換の統合APIを提供するため、既存のツールと簡単に統合でき、計算負荷をピアネットワーク全体に分散させることが可能です。

仕組み

システムは主に2つのコンポーネントで構成されています。モデル管理、ネイティブ推論、分割実行を処理する Skippy と、ピアの検出、ルーティング、ユーザーインターフェースを管理する Mesh です。

主なメカニズムは以下の通りです：

• Mesh Routing: リクエストは、要求されたモデルを提供できるピアにルーティングされます。
• Encrypted Transport: ノード間のエンドツーエンド暗号化通信に QUIC を使用します。
• Skippy Stage Splits: 1台のマシンに収まらないモデルの場合、システムはモデルを連続したレイヤー範囲（ステージ）に分割し、複数のノードに分散させます。
• Layer Packages: ピアは、割り当てられたステージに必要な特定の GGUF フラグメントのみをダウンロードします。
• Mixture-of-Agents (MoA): 単一のプロンプトをメッシュ内のすべてのモデルにファンアウトし、応答を1つの回答に調整する実験的な機能です。

対象ユーザー

• ハードウェアに制限があるユーザー: 異なるマシン上の小さなGPU群を使用して巨大なモデルを実行したい人。
• 開発者: 分散型LLM推論のためにOpenAI互換のエンドポイントを必要とする人。
• セルフホストユーザー: AIリソースを共有するためのプライベートまたはパブリックなメッシュを作成したいユーザー。

ハイライト

• OpenAI互換API: 既存のLLMクライアントとシームレスに統合可能。
• 分散推論: ステージ分割により、大規模モデルを複数のマシンに分割して実行可能。
• 幅広いモデルサポート: 多様な GGUF モデルファミリー (Qwen, Llama, Mistral, DeepSeek など) と互換性あり。
• クロスプラットフォーム: macOS, Linux, Windows で利用可能 (CUDA, ROCm, Vulkan, Metal をサポート)。
• 実験的な MoA: 複数のモデルを並列にクエリし、結果をマージする機能。