mlc-ai/xgrammar

解决的问题

大语言模型（LLM）在生成特定、机器可读格式的输出时常常遇到困难。XGrammar 通过确保生成文本的 100% 结构正确性来解决这一问题，防止模型生成格式错误的 JSON 或无效语法。

工作原理

使用约束解码来限制模型的输出，使其遵循特定规则集。支持通用上下文无关文法（CFG），能够处理包括 JSON、正则表达式（regex）和自定义文法在内的广泛结构。

适用人群

需要可靠结构化数据输出的 LLM 驱动应用开发者，以及希望集成高性能结构化生成后端的 LLM 推理引擎开发者。

特点

• 近乎零开销：针对极致效率优化，尤其在 JSON 生成方面表现卓越。
• 通用部署：支持 Linux、macOS 和 Windows，兼容多种硬件（NVIDIA GPU、AMD GPU、Apple Silicon、CPU、TPU）。
• 广泛模型支持：与 Llama、Qwen、DeepSeek、Phi 和 Gemma 等主流模型兼容。
• 广泛集成：已作为 vLLM、SGLang、TensorRT-LLM 和 MLC-LLM 的默认后端集成。