EricLBuehler/candle-vllm

해결하는 문제

Candle-vLLM은 로컬 대규모 언어 모델(LLM)을 실행하고 서빙하기 위한 고성능 플랫폼을 제공합니다. OpenAI 호환 API, 내장 웹 인터페이스, 그리고 사용 가능한 하드웨어에서 대규모 모델을 처리하기 위한 고급 메모리 최적화 기술을 제공함으로써 프로덕션급 추론 서버 배포의 복잡성을 해결합니다.

작동 방식

Candle 프레임워크를 기반으로 하며, 처리량을 극대화하고 메모리 사용량을 줄이기 위해 몇 가지 업계 표준 최적화 기술을 구현합니다:

• 메모리 관리: 효율적인 KV 캐시 관리를 위해 PagedAttention을 사용하며, 2~4비트 KV 캐시 압축을 강력하게 수행하는 "TurboQuant"를 지원하여 컨텍스트 윈도우를 최대 4.7배까지 확장합니다.
• 실행 최적화: 토큰 생성을 가속화하기 위해 연속 배치(continuous batching), CUDA Graphs, 그리고 네이티브 Flash Attention/FlashInfer를 활용합니다.
• 하드웨어 유연성: CUDA(Linux)와 Metal(macOS)을 지원하여 동일한 코드베이스가 다양한 플랫폼에서 실행될 수 있도록 합니다.
• 확장성: 여러 GPU(멀티프로세스 또는 멀티스레드)에 걸친 텐서 병렬화를 가능하게 하고, TCP 기반 조정을 통해 여러 머신에 걸쳐 추론을 분산합니다.
• 양자화: GGUF, GPTQ, AWQ, Marlin, FP8/FP4 등 다양한 포맷을 지원하며, 온더플라이(on-the-fly) 인시투(in-situ) 양자화 수행이 가능합니다.

대상 사용자

이 도구는 NVIDIA GPU 또는 Apple Silicon을 타겟으로 하며, 프로덕션급 성능으로 로컬에서 LLM을 서빙해야 하는 개발자와 연구자를 위해 설계되었습니다.

하이라이트

• OpenAI 호환: 즉시 사용 가능한 API 서버와 ChatGPT 스타일 웹 UI를 포함합니다.
• 크로스 플랫폼: CUDA와 Metal 모두 네이티브로 지원합니다.
• 고급 압축: TurboQuant KV 캐시 압축으로 메모리 오버헤드를 크게 줄입니다.
• 추측 디코딩: 내장 Multi-Token Prediction(MTP)과 외부 DFlash2 드래프트 모델을 모두 지원하여 생성 속도를 가속화합니다.
• 엔터프라이즈 확장: MPI 없이 멀티노드 추론 기능을 제공합니다.