geerlingguy/beowulf-ai-cluster

해결하는 문제

대규모 모델을 실행하기 위해 여러 머신을 수동으로 구성하는 대신, 이 프로젝트는 클러스터 내 여러 노드에 다양한 분산 추론 도구를 자동 배포함으로써 분산 AI 클러스터의 설정과 벤치마크를 간소화합니다.

작동 방식

이 프로젝트는 Ansible 플레이북을 사용하여 여러 호스트에서 AI 소프트웨어의 설치, 컴파일, 실행을 자동화합니다. 세 가지 주요 분산 AI 프레임워크를 지원합니다:

• llama.cpp (RPC 모드): 노드를 RPC 서버로 구성하여 단일 모델의 작업 부하를 공유합니다.
• distributed-llama: 분산 추론을 수행하는 워커 노드를 설정합니다.
• Exo: 수동 배포 및 테스트를 위한 설정 플레이북을 제공합니다.

대상 사용자

분산 AI 클러스터링 도구를 테스트하고 싶은 사용자, 다양한 하드웨어 노드의 성능을 비교하고 싶은 사용자, 또는 대규모 언어 모델을 실행할 때 여러 머신이 어떻게 확장되는지 벤치마크하고 싶은 사용자에게 적합합니다.

주요 특징

• 자동 배포: Ansible을 사용하여 클러스터 내 모든 노드에서 설정 및 컴파일을 처리합니다.
• 다양한 프레임워크 지원: llama.cpp(개별 및 클러스터), distributed-llama, Exo의 벤치마크를 포함합니다.
• 유연한 구성: 사용자가 클러스터 인벤토리와 하드웨어별 빌드 옵션을 구성 파일을 통해 정의할 수 있습니다.
• 수동 디버깅: 대규모 모델 디버깅을 위한 수동 벤치마크 실행 지침을 제공합니다.