geerlingguy/beowulf-ai-cluster

解決的問題

提供了一種簡化的方式來設定與基準測試分散式 AI 集群。無需手動設定多台機器協同運行大型模型，此專案透過自動化部署各種分散式推論工具至叢集節點，實現高效管理。

工作原理

此專案使用 Ansible playbook 自動化在多個主機上安裝、編譯與執行 AI 軟體。支援三種主要的分散式 AI 框架：

• llama.cpp (RPC 模式)：將節點設定為 RPC 伺服器，共享單一模型的工作負載。
• distributed-llama：設定工作節點以執行分散式推論。
• Exo：提供用於手動部署與測試的設定 playbook。

適用對象

適用於希望測試分散式 AI 集群工具、比較不同硬體節點效能，或基準測試多台機器在執行大型語言模型時的擴展能力的使用者。

主要亮點

• 自動化部署：使用 Ansible 處理叢集所有節點的設定與編譯。
• 多框架支援：包含 llama.cpp（單機與叢集）、distributed-llama 與 Exo 的基準測試。
• 靈活配置：允許使用者透過設定檔定義叢集清單與硬體特定的建置選項。
• 手動除錯：提供詳細的手動基準測試指南，用於除錯大型模型。