geerlingguy/beowulf-ai-cluster

何を解決するか

大規模なモデルを実行するために複数のマシンを手動で構成するのではなく、このプロジェクトはクラスタ内の複数のノードにさまざまな分散推論ツールを自動デプロイすることで、分散AIクラスタのセットアップとベンチマークをスムーズに実現します。

仕組み

このプロジェクトは、Ansibleのプレイブックを使用して、複数のホスト上でAIソフトウェアのインストール、コンパイル、実行を自動化します。3つの主要な分散AIフレームワークをサポートしています：

• llama.cpp (RPCモード)：ノードをRPCサーバーとして設定し、単一モデルのワークロードを共有します。
• distributed-llama：分散推論を実行するワーカーノードをセットアップします。
• Exo：手動デプロイとテスト用のセットアッププレイブックを提供します。

対象ユーザー

分散AIクラスタリングツールをテストしたい人、異なるハードウェアノードのパフォーマンスを比較したい人、または大規模言語モデルを実行する際に複数のマシンがどのようにスケーリングするかをベンチマークしたい人向けです。

特徴

• 自動デプロイ：Ansibleを使用して、クラスタ内のすべてのノードでセットアップとコンパイルを処理します。
• 複数のフレームワーク対応：llama.cpp（個別およびクラスタ）、distributed-llama、Exoのベンチマークを含みます。
• 柔軟な構成：クラスタのインベントリとハードウェア固有のビルドオプションを構成ファイルで定義できます。
• 手動デバッグ：大規模なモデルのデバッグ用に、手動ベンチマークの実行手順を詳細に提供します。