geerlingguy/beowulf-ai-cluster

解决的问题

它提供了一种简化的方式来设置和基准测试分布式AI集群。无需手动配置多台机器协同运行大型模型，该项目通过自动化部署各种分布式推理工具到集群节点，实现高效管理。

工作原理

该项目使用 Ansible playbook 自动化在多个主机上安装、编译和执行 AI 软件。支持三种主要的分布式 AI 框架：

• llama.cpp (RPC 模式)：将节点配置为 RPC 服务器，共享单个模型的工作负载。
• distributed-llama：设置工作节点以执行分布式推理。
• Exo：提供用于手动部署和测试的设置 playbook。

适用人群

适用于希望测试分布式 AI 集群工具、比较不同硬件节点性能，或基准测试多台机器在运行大型语言模型时的扩展能力的用户。

主要亮点

• 自动化部署：使用 Ansible 处理集群所有节点的设置和编译。
• 多框架支持：包含 llama.cpp（单机与集群）、distributed-llama 和 Exo 的基准测试。
• 灵活配置：允许用户通过配置文件定义集群清单和硬件特定的构建选项。
• 手动调试：提供详细的手动基准测试指南，用于调试大型模型。