vllm-project/recipes

vLLM은 대규모 AI 모델을 실행하기 위한 엔진입니다. 이 프로젝트는 *특정 하드웨어 Y에서 특정 작업 Z를 위해 모델 X를 어떻게 실행하는가?*와 같은 실용적인 질문에 답할 수 있도록 돕습니다. 예를 들어, 채팅을 위해 NVIDIA GPU에서 DeepSeek-V3를 실행하거나, 이미지 인식을 위해 Qwen3를 실행하는 방법 등이 있습니다.

이 저장소는 이러한 지침의 중앙 허브입니다. 각 지침은 **레시피(recipe)**라고 불리며, 특정 하드웨어에서 특정 사용 사례를 위해 특정 모델을 실행하는 가장 좋은 방법을 설명하는 구조화된 파일입니다.

작동 방식

레시피 자체는 각 모델을 가장 잘 아는 팀이 작성하고 유지 관리합니다(예: DeepSeek의 레시피는 DeepSeek 팀이 직접 유지 관리함). 이러한 레시피는 이곳이 아닌 다른 저장소에 존재합니다. 이 저장소의 역할은 다음과 같습니다:

각 저장소에서 레시피 파일을 가져오기(Pull)
파일들을 병합(Merge)
파일들을 검증(Validate)
공개 웹사이트 recipes.vllm.ai 및 JSON API 빌드

신문 편집국을 생각해보세요. 기사는 각 도시의 전문가들이 작성하고, 이 저장소는 그 기사들을 수집, 검토 및 인쇄하는 편집실 역할을 합니다.

자동 업데이트

백그라운드 프로세스가 20분마다 레시피 소스의 변경 여부를 확인합니다. 변경 사항이 있으면 새 콘텐츠를 검증한 후 자동으로 사이트를 업데이트합니다. 검증에 실패하면 사이트는 마지막으로 성공한 버전을 계속 제공하여 중단 없이 운영되며, GitHub에 이슈가 생성되어 문제를 알립니다.

출처 및 신뢰성

모든 레시피 페이지에는 해당 파일을 소유한 저장소로 연결되는 "레시피 편집" 링크가 포함되어 있습니다. 모든 레시피 데이터에는 원본 저장소, 커밋, 파일 경로를 식별하는 메타데이터가 포함되어 있어 언제든지 명령의 출처를 추적할 수 있습니다.

기여 분담

이 프로젝트는 책임을 다음과 같이 분리합니다:

모델 레시피("DeepSeek-V3 실행 방법" 등)는 vLLM 프로젝트와 vLLM-Omni 프로젝트가 소유
스키마, 하드웨어 프로필, 서빙 전략 및 플랫폼 정의는 이곳에서 소유
웹사이트 빌드, JSON API 및 명령 합성은 이곳에서 소유

로컬 개발

개발자는 이 저장소를 소스 저장소의 로컬 체크아웃(sources.local.yaml 파일 사용)으로 지정하고 동기화, 검증, 조립 명령을 실행하여 로컬에서 변경 사항을 미리 볼 수 있습니다.

레거시 콘텐츠

이전 문서 사이트에서 가져온 오래된 Markdown 가이드 파일(DeepSeek/, Qwen/ 등의 폴더)도 존재하며, 프로젝트가 새로운 YAML 기반 레시피 형식으로 전환되는 동안 참조용으로 유지됩니다.

라이선스

Apache License 2.0.