noonghunna/club-3090

해결하는 문제

NVIDIA RTX 3090과 같은 소비자용 하드웨어에서 거대 언어 모델(LLMs)을 실행하는 것은 메모리 제한, 구성 오버헤드, 엔진별 최적화로 인해 복잡할 수 있습니다. 이 프로젝트는 사전 구성되고 테스트된 레시피를 제공하여 이러한 모델을 로컬에 쉽게 배포하고 특정 하드웨어 설정에서 효율적으로 실행되도록 보장합니다.

작동 방식

Docker와 NVIDIA Container Toolkit을 사용하여 배포 환경을 관리합니다. 이 프로젝트는 하드웨어 토폴로지(예: 단일 카드, 듀얼 카드, 멀티 카드)별로 모델 구성(또는 "slugs")을 정리합니다. 사용자가 구성을 선택하면 제공된 스크립트가 vLLM, SGLang 또는 llama.cpp와 같은 고성능 추론 엔진을 통해 모델을 다운로드, 검증 및 실행하는 과정을 처리합니다. OpenAI 호환 API를 노출하여 기존 LLM 도구 및 인터페이스와 통합할 수 있습니다.

대상 사용자

NVIDIA RTX 3090(또는 유사한 카드)을 소유하고 있으며, 환경 설정, 양자화 또는 엔진별 성능 병목 현상을 해결하는 데 과도한 시간을 들이지 않고 LLM을 직접 호스팅하려는 개발자, 연구원 및 애호가를 위한 것입니다.

주요 특징

• 하드웨어 인식 레시피: VRAM 사용량과 추론 속도를 극대화하기 위해 1개, 2개 이상의 GPU에 대해 사전 테스트된 구성.
• 통합 API: OpenAI 호환 엔드포인트를 제공하여 로컬 모델을 클라우드 기반 LLM 서비스의 드롭인 대체품으로 사용할 수 있습니다.
• 광범위한 벤치마킹: 커뮤니티에서 제공한 성능 지표(TPS, 지연 시간) 및 품질 검사 공유 데이터베이스를 포함합니다.
• 모듈식 설계: 여러 추론 엔진(vLLM, llama.cpp 등)을 지원하며 배포 관리를 위한 터미널 기반 콕핏(c3)을 포함합니다.
• 멀티모달 지원: 채팅 모델과 함께 이미지, 비디오 및 오디오 생성 모델을 실행하기 위한 선택적 "AI Studio" 확장 기능.