mlc-ai/xgrammar

解決的問題

大型語言模型（LLM）在產生特定、機器可讀格式的輸出時經常遇到困難。XGrammar 透過確保生成文字的 100% 結構正確性來解決此問題，防止模型產生格式錯誤的 JSON 或無效語法。

工作原理

使用限制性解碼來限制模型輸出，使其遵循特定規則集。支援通用上下文無關文法（CFG），可處理包括 JSON、正規表示式（regex）和自訂文法在內的廣泛結構。

適用對象

需要可靠結構化資料輸出的 LLM 驅動應用開發者，以及希望整合高性能結構化生成後端的 LLM 推論引擎開發者。

特色

• 近乎零開銷：針對極致效率優化，特別是在 JSON 生成方面表現卓越。
• 通用部署：支援 Linux、macOS 和 Windows，兼容多種硬體（NVIDIA GPU、AMD GPU、Apple Silicon、CPU、TPU）。
• 廣泛模型支援：與 Llama、Qwen、DeepSeek、Phi 和 Gemma 等主流模型相容。
• 廣泛整合：已作為 vLLM、SGLang、TensorRT-LLM 和 MLC-LLM 的預設後端整合。