Mesh-LLM/mesh-llm

해결하는 문제

Mesh LLM을 사용하면 사용자는 여러 머신의 GPU 및 메모리 리소스를 풀링하여 단일 컴퓨터에서는 너무 커서 실행할 수 없는 대규모 언어 모델(LLM)을 실행할 수 있습니다. OpenAI와 호환되는 통합 API를 제공하여 기존 도구와 쉽게 통합할 수 있으며, 피어 네트워크 전반에 걸쳐 계산 부하를 분산시킵니다.

작동 방식

이 시스템은 두 가지 주요 구성 요소로 이루어져 있습니다. 모델 관리, 네이티브 추론 및 분할 실행을 처리하는 Skippy와 피어 검색, 라우팅 및 사용자 인터페이스를 관리하는 Mesh입니다.

주요 메커니즘은 다음과 같습니다:

• Mesh Routing: 요청은 요청된 모델을 서비스할 수 있는 피어로 라우팅됩니다.
• Encrypted Transport: 노드 간의 종단 간 암호화 통신을 위해 QUIC를 사용합니다.
• Skippy Stage Splits: 단일 머신에 너무 큰 모델의 경우, 시스템은 모델을 연속적인 레이어 범위(스테이지)로 분할하여 여러 노드에 배포합니다.
• Layer Packages: 피어는 할당된 스테이지에 필요한 특정 GGUF 조각만 다운로드합니다.
• Mixture-of-Agents (MoA): 단일 프롬프트를 메쉬 내의 모든 모델에 전달하고 응답을 하나의 답변으로 조정하는 실험적 기능입니다.

대상 사용자

• 하드웨어 제약이 있는 사용자: 서로 다른 머신에 있는 작은 GPU들을 모아 거대한 모델을 실행하려는 사람들.
• 개발자: 분산 LLM 추론을 위한 OpenAI 호환 엔드포인트가 필요한 사람들.
• 셀프 호스팅 사용자: AI 리소스를 공유하기 위해 개인 또는 공용 메쉬를 만들려는 사용자.

주요 특징

• OpenAI 호환 API: 기존 LLM 클라이언트와 원활하게 통합됩니다.
• 분산 추론: 스테이지 분할을 통해 여러 머신에 걸쳐 대규모 모델을 분할 실행할 수 있습니다.
• 광범위한 모델 지원: 다양한 GGUF 모델 제품군(Qwen, Llama, Mistral, DeepSeek 등)과 호환됩니다.
• 크로스 플랫폼: macOS, Linux, Windows에서 사용 가능 (CUDA, ROCm, Vulkan, Metal 지원).
• 실험적 MoA: 여러 모델을 병렬로 쿼리하고 결과를 병합하는 기능.