ai-dynamo/dynamo

Dynamo – 데이터센터 규모 추론 오케스트레이션 스택

정의 – Dynamo는 기존 LLM 추론 엔진(vLLM, SGLang, TensorRT-LLM 등) 위에 위치하는 오픈 소스 플랫폼으로, GPU 또는 전체 노드 모음을 조정된 다중 노드 서빙 시스템으로 전환합니다. 기본 엔진을 대체하지 않습니다. 대신 오케스트레이션, 라우팅, 캐싱 및 자동 확장을 추가하여 대규모 언어 모델 워크로드를 낮은 지연 시간으로 확장하여 서비스할 수 있도록 합니다.

주요 기능

기능	설명	중요성
분리된 prefill / decode	Prefill(프롬프트 처리) 및 decode(토큰 생성)는 독립적으로 확장할 수 있는 별도의 GPU 풀에서 실행됩니다.	GPU를 계속 사용하게 합니다 – prefill은 계산 집약적이고 decode는 메모리 집약적 – 따라서 전체 처리량이 향상됩니다.
KV 인식 라우팅	요청은 키-값(KV) 캐시가 작업자의 기존 캐시와 겹치는 정도에 따라 라우팅됩니다.	동일한 prefill 작업을 반복하지 않아 첫 번째 토큰까지의 시간(TTFT)이 약 절반으로 줄어듭니다.
KV 블록 관리자(KVBM)	KV 캐시를 GPU에서 CPU, SSD 또는 원격 스토리지로 오프로드하여 유효 컨텍스트 길이를 GPU 메모리 이상으로 확장합니다.
ModelExpress	NVLink/NIXL을 통해 GPU 간에 모델 가중치를 직접 스트리밍합니다.	새 복제본을 시작할 때 콜드 스타트를 최대 7배 빠르게 합니다.
플래너(SLA 기반 자동 확장기)	워크로드를 프로파일링하고, 지연 시간을 예측하고, 지연 시간 서비스 수준 계약(SLA)을 최소 비용으로 충족하도록 prefill 및 decode 풀을 자동으로 적정 크기로 조정합니다.
Grove K8s 운영자	NVIDIA-NVL72 랙을 위한 토폴로지 인식 갱 스케줄링을 제공합니다.
AISimulate	GPU가 할당되기 전에 서빙 동작을 예측하고 최적의 배포 구성을 검색하는 오프라인 시뮬레이터입니다.
내결함성	카나리아 상태 확인 및 진행 중인 요청 마이그레이션을 통해 작업자에 장애가 발생해도 요청을 유지합니다.

지원되는 백엔드 – Dynamo는 SGLang, TensorRT-LLM 및 vLLM과 함께 작동합니다(기능 매트릭스에서 모두 ✅로 표시). 또한 멀티모달 모델, 도구 호출 및 비디오 생성 파이프라인을 지원합니다.

사용 방법

1. 컨테이너 빠른 시작 – 원하는 백엔드용 사전 빌드된 Docker 이미지를 가져오고, Dynamo 프론트엔드와 작업자를 실행한 다음 OpenAI 호환 /v1/chat/completions 엔드포인트를 호출합니다.
2. Python 설치 – 백엔드용 extra와 함께 ai-dynamo 패키지(uv 또는 pip 통해)를 설치한 다음 명령줄에서 동일한 구성 요소를 시작합니다.
3. Kubernetes 프로덕션 – Dynamo Platform을 배포하고 모델, 백엔드 및 지연 시간 SLA를 지정하는 단일 DynamoGraphDeploymentRequest 매니페스트를 제출합니다. Dynamo의 플래너, AISimulate 및 Grove가 적절한 수의 GPU Pod를 자동으로 프로비저닝하고 라우팅을 구성합니다.

README의 성능 하이라이트

• DeepSeek-R1(GB200 NVL72)에서 Dynamo가 없는 기준선 대비 GPU당 처리량 7배 향상.
• ModelExpress 가중치 스트리밍을 사용하여 모델 콜드 스타트 7배 단축.
• KV 인식 라우팅 덕분에 Qwen3-Coder 480B의 TTFT 2배 단축.
• 플래너 기반 자동 확장으로 SLA 위반 80% 감소.
• 더 큰 GB300 시스템에서 DeepSeek-R1 처리량 최대 750배 향상.

커뮤니티 및 생태계 – Dynamo는 NVIDIA가 지원하며 공개 Slack, 정기적인 오피스 아워, 설계 제안 프로세스 및 160명 이상의 기여자가 있습니다. LangChain, NVIDIA NeMo Agent Toolkit과 통합되며 인기 모델(Qwen, DeepSeek, Kimi 등)에 대한 레시피를 제공합니다.

Dynamo를 사용해야 하는 경우 – 여러 GPU 또는 노드에 걸쳐 대규모 모델을 서비스해야 하거나, 중복 prefill 작업을 피하려 하거나, 지연 시간 SLA를 충족하기 위한 자동 확장이 필요하거나, 컨텍스트 길이를 GPU 메모리 이상으로 확장하려는 경우 Dynamo는 이를 가능하게 하는 오케스트레이션 계층을 제공합니다. 단일 GPU, 단일 모델 배포의 경우 일반 추론 엔진으로 충분합니다.

---

TL;DR – Dynamo는 기존 LLM 추론 엔진을 스마트 라우팅, KV 캐싱, 자동 확장 및 Kubernetes 통합을 갖춘 확장 가능하고 지연 시간이 낮은 다중 노드 서빙 시스템으로 전환하는 오픈 소스 Rust 기반 오케스트레이션 프레임워크입니다.