mlc-ai/xgrammar

何を解決するか

大規模言語モデル（LLM）は、特定の機械可読形式で出力を生成する際にしばしば困難を抱えます。XGrammarは、生成テキストの100％の構造的正確性を保証することで、この問題を解決します。これにより、不正なJSONや無効な構文の出力をモデルが生成するのを防ぎます。

動作方法

制約付きデコードを使用して、モデルの出力を特定のルールに従わせます。一般的な文脈自由文法（CFG）をサポートしており、JSON、正規表現（regex）、カスタム文法を含む幅広い構造を扱えます。

対象ユーザー

信頼できる構造化データ出力を必要とするLLM駆動アプリケーションを開発する開発者、および高パフォーマンスな構造化生成バックエンドを統合したいLLM推論エンジンの開発者。

特徴

• ほぼゼロのオーバーヘッド：極めて効率的な最適化により、特にJSON生成において優れたパフォーマンスを発揮します。
• ユニバーサルなデプロイ：Linux、macOS、Windowsで動作し、NVIDIA GPU、AMD GPU、Apple Silicon、CPU、TPUを含む幅広いハードウェアをサポートします。
• 広範なモデル対応：Llama、Qwen、DeepSeek、Phi、Gemmaなどの主要モデルと互換性があります。
• 広範な統合：vLLM、SGLang、TensorRT-LLM、MLC-LLMのデフォルトバックエンドとして統合されています。