llm-d/llm-d

해결하는 문제

llm-d는 대규모 언어 모델(LLM)의 생산 환경에서 최고 수준(SOTA)의 추론 성능을 달성하기 위해 필요한 복잡성과 수동 튜닝을 제거하기 위해 설계되었습니다. 오픈소스 모델이 다양한 하드웨어 가속기에서 효율적이고 신뢰성 있게 제공될 수 있도록 최적화된 고성능 분산 추론 서빙 스택을 제공합니다.

작동 방식

llm-d는 vLLM 및 SGLang과 같은 모델 서버 위에 위치하는 오케스트레이션 및 최적화 계층입니다. 여러 고급 기술을 활용하여 처리량을 극대화하고 지연 시간을 줄입니다.

• 지능형 라우팅: 프리픽스 캐시와 로드 인식 밸런싱, 실험적 예측 지연 스케줄링을 사용하여 요청 분배를 최적화합니다.
• KV 캐시 관리: CPU 또는 디스크로 계층적 오프로딩과 글로벌 인덱싱을 구현하여 다중 대화 세션에서 효과적인 작업 세트 크기를 증가시킵니다.
• 대규모 모델 서빙: 프리필/디코딩 분리 및 광범위한 전문가 병렬 처리를 활용하여 DeepSeek-R1과 같은 거대 모델을 최적화합니다.
• 운영 우수성: SLO 인식 자동 스케일링과 다중 테넌트 환경을 위한 지능형 흐름 제어를 제공합니다.
• 배치 처리: OpenAI 호환 배치 API를 통해 대규모 오프라인 추론을 관리합니다.

대상 사용자

NVIDIA, AMD, Intel, Google TPU를 포함한 다양한 하드웨어와 클라우드 공급업체에서 Kubernetes 위에 LLM 추론 서비스를 배포하고 확장해야 하는 MLOps 엔지니어 및 인프라 제공업체.

주요 특징

• CNCF Sandbox 프로젝트: Red Hat, Google Cloud, IBM Research, CoreWeave, NVIDIA 등 산업 리더들이 공동 설립.
• 하드웨어 독립성: NVIDIA B200, AMD MI300X, Intel XPU 등 다양한 가속기에서 최적화.
• 프리필/디코딩 분리: 표준 vLLM 대비 최대 70% 높은 토큰/초 처리량 향상.
• 계층적 KV 오프로딩: 고 동시 사용자 부하에서 최대 13.9배의 처리량 향상.
• 세부 벤치마크: Prism 플랫폼을 통해 재현 가능한 벤치마크 제공.