LLMON: LLMネイティブなマークアップ言語、Granite 4.1 3Bおよび8Bで利用可能に
概要
LLMON (LLM Object Notation) は、LLMに対して構造とセマンティクスを明示的に伝えるために設計された新しいマークアップ言語です。これは、非構造化データやJSONベースのコンテキストウィンドウに内在する脆弱性やセキュリティ上の欠陥に対処するものです。IBMは、LLMON形式のテキストをネイティブに処理・生成するようにトレーニングされた2つの実験的プレビューモデル、granite-4.1-3b-LLMON-preview と granite-4.1-8b-LLMON-preview をリリースしました。
LLMにおいてLLMONがJSONを置き換える理由
JSONは機械的なパーサーのために設計されたものであり、LLMの因果的な性質を考慮したものではありません。JSONでは、引用符や括弧といった構造上の区切り文字がコンテンツと区別しにくいことが多く、Transformerモデルは深いネストに必要な長距離依存関係の追跡に苦労します。
LLMONは、区切り文字が標準的な文字ではなく予約済みの特殊トークンであるXMLライクな構造を採用しています。これにより、構造とコンテンツがモデルの語彙の異なる部分を占めることが保証されます。LLMONは、一意のIDを使用して指示と特定のデータペイロードを結びつけることで、モデルがコンテキストを不透明なテキストの文字列としてではなく、アドレス指定可能な一連のブロックとして扱うことを可能にします。
プロンプトインジェクションの緩和
LLMONは、指示とデータを厳密に分離することで、間接的なプロンプトインジェクション攻撃の成功率を大幅に低減します。モデルは特定の実行ブロックを認識するようにトレーニングされているため、データペイロード内に埋め込まれた指示を、実行可能なコマンドではなく不活性な素材として扱います。OPIデータセットでのベンチマークによると、LLMONモデルは、標準的なGranite 4.1 Instructモデルと同等の一般的なパフォーマンスを維持しながら、テストされた最高のフロンティアモデルよりも47%、最高のオープンソースモデルよりも95%多くの攻撃を回避しています。
統合とトレーニング
LLMONは、既存のチャットテンプレートを置き換えるのではなく、補完するように設計されています。開発者は引き続き標準的な messages リストを使用でき、それらはモデルのチャットテンプレートを介してLLMONブロックにレンダリングされます。指示、データ、要件などの各コンポーネントは exec: True または False としてマークでき、コンテキストのどの部分が権威あるものかをモデルに効果的に伝えます。
これらのモデルは、Granite 4.1のベースチェックポイントから多段階のプロセスを経てトレーニングされました。
- 再シリアル化: 従来の指示チューニング用コーパスをLLMON形式のブロックに変換しました。
- データ拡張: トレーニングセットには、参照されていない情報を無視するようにモデルに教えるためのデコイ(おとり)指示や未バインドのデータブロックが含まれています。
- 強化学習: トレーニングには、推論、RLHF、知識のキャリブレーションをカバーする5つの連続したGRPOステージが含まれ、その後にモデル自身のインジェクション試行に対する応答から導出された選好ペアを使用した最終的なDPOステージが続きました。
カスタマイズと可用性
LLMONはスキーマに依存しないため、ユーザーは特定のドメインに合わせてカスタムタグ名や構造を定義できます。提供されているScienceWorldの例で示されているように、ユーザーはLLMONベースモデルの上にLoRAアダプターをファインチューニングして、ドメイン固有の語彙を理解させることができます。このプロジェクトには、既存のJSONをデータ損失なしでLLMONに変換するツールが含まれており、モデルは評価や実験のためにHugging Faceで公開されています。