NVIDIA/Personal-AI-Router

해결하는 문제

NVIDIA Personal AI Router (PAIR)는 단일 네트워크 상의 여러 로컬 컴퓨터를 관리하여 AI 추론 워크로드를 처리하는 문제를 해결합니다. 사용자는 여러 기계에 독립적인 AI 요청을 분산시켜 단일 기계가 병목 현상에 빠지는 것을 방지할 수 있으며, 다중 에이전트 애플리케이션과 같은 병렬 워크로드에 특히 유용합니다.

작동 방식

PAIR는 로컬 추론 라우터로 작동합니다. 네트워크상의 참여 노드를 탐지하고, 지원되는 추론 엔진(예: Ollama, LM Studio)을 관리하며, OpenAI 호환 및 Ollama 호환 프록시 엔드포인트를 제공합니다. 요청이 도착하면 PAIR는 엔진 가용성, 모델 가용성, 현재 부하를 기반으로 적합한 노드로 요청을 라우팅합니다.

대상 사용자

여러 로컬 머신(Windows, Linux, macOS)을 보유하고 있으며, 클라우드로 데이터를 전송하지 않고도 로컬 클러스터를 구성하여 AI 추론을 수행하고자 하는 개발자 및 AI 애호가들입니다.

주요 특징

• 크로스플랫폼 호환성: Windows 11, Linux, macOS (x64 및 arm64)를 지원합니다.
• 통합 API: OpenAI 및 Ollama 호환 프록시 엔드포인트를 제공합니다.
• 간편한 설정: 엔진과 모델의 설치 및 관리를 위한 데스크톱 애플리케이션이 포함되어 있습니다.
• 로컬 우선 개인정보 보호: 프롬프트와 응답을 로컬 네트워크 내에 유지하도록 설계되었습니다.
• 동적 라우팅: 실시간 GPU 및 메모리 사용량 신호를 기반으로 요청을 라우팅합니다.