mlc-ai/xgrammar

해결하는 문제

대규모 언어 모델(LLM)은 특정한 기계 판독 가능한 형식으로 출력을 생성하는 데 어려움을 겪는 경우가 많습니다. XGrammar는 생성된 텍스트의 100% 구조적 정확성을 보장함으로써 이 문제를 해결합니다. 이를 통해 모델이 잘못된 JSON이나 유효하지 않은 구문을 생성하는 것을 방지합니다.

작동 방식

모델의 출력을 특정 규칙 집합에 따라 제한하는 제약 디코딩을 사용합니다. 일반적인 문맥 자유 문법(CFG)을 지원하여 JSON, 정규 표현식(regex), 사용자 정의 문법을 포함한 다양한 구조를 처리할 수 있습니다.

대상 사용자

신뢰할 수 있는 구조화된 데이터 출력이 필요한 LLM 기반 애플리케이션을 개발하는 개발자, 그리고 고성능 구조화 생성 백엔드를 통합하고자 하는 LLM 추론 엔진 개발자.

주요 특징

• 거의 제로 오버헤드: 극도로 효율적인 최적화로, 특히 JSON 생성 시 뛰어난 성능을 발휘합니다.
• 일반적인 배포 가능성: Linux, macOS, Windows에서 작동하며, NVIDIA GPU, AMD GPU, Apple Silicon, CPU, TPU 등 다양한 하드웨어를 지원합니다.
• 광범위한 모델 호환성: Llama, Qwen, DeepSeek, Phi, Gemma 등의 주요 모델과 호환됩니다.
• 광범위한 통합: vLLM, SGLang, TensorRT-LLM, MLC-LLM의 기본 백엔드로 통합되어 있습니다.