LLMON:一种 LLM 原生标记语言,现已应用于 Granite 4.1 3B 和 8B

概述

LLMON (LLM Object Notation) 是一种全新的标记语言,旨在向 LLM 明确传达结构和语义,从而解决非结构化或基于 JSON 的上下文窗口中固有的脆弱性和安全漏洞。IBM 发布了两个实验性预览模型 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,它们经过训练,能够原生处理和生成 LLMON 标记的文本。

为什么 LLMON 取代了 LLM 的 JSON

JSON 是为机器解析器设计的,而不是为 LLM 的因果特性设计的。在 JSON 中,引号和括号等结构分隔符通常与内容无法区分,而 Transformer 模型难以处理深度嵌套所需的长期依赖关系跟踪。

LLMON 使用类似 XML 的结构,其中分隔符是保留的特殊标记,而不是标准字符。这确保了结构和内容占据模型词汇表的不同部分。通过使用唯一 ID 将指令绑定到特定的数据负载,LLMON 允许模型将上下文视为一系列可寻址的块,而不是不透明的文本字符串。

缓解提示词注入

LLMON 通过强制执行指令与数据之间的严格分离,显著降低了间接提示词注入攻击的成功率。由于模型经过训练可以识别特定的执行块,因此它会将嵌入在数据负载中的指令视为惰性材料,而不是可执行命令。在 OPI 数据集上的基准测试显示,LLMON 模型比测试过的最佳前沿模型多规避了 47% 的攻击,比最佳开源模型多规避了 95% 的攻击,同时保持了与标准 Granite 4.1 Instruct 模型相当的通用性能。

集成与训练

LLMON 旨在补充现有的聊天模板,而不是取代它们。开发人员可以继续使用标准的 messages 列表,然后通过模型的聊天模板将其渲染为 LLMON 块。每个组件(例如指令、数据或需求)都可以标记为 exec: True 或 False,从而有效地告诉模型上下文的哪些部分是权威的。

这些模型是从 Granite 4.1 基础检查点开始,通过多阶段流程训练的:

  1. 重新序列化: 将传统的指令微调语料库转换为 LLMON 格式的块。
  2. 数据增强: 训练集包含诱饵指令和未绑定的数据块,以教会模型忽略非引用信息。
  3. 强化学习: 训练涉及五个连续的 GRPO 阶段,涵盖推理、RLHF 和知识校准,随后是使用从模型自身对注入尝试的响应中得出的偏好对进行的最终 DPO 阶段。

自定义与可用性

LLMON 与模式无关,允许用户为特定领域定义自定义标签名称和结构。用户可以在 LLMON 基础模型之上微调 LoRA 适配器以理解特定领域的词汇,正如所提供的 ScienceWorld 示例中所演示的那样。该项目包括将现有 JSON 转换为 LLMON 而不丢失数据的转换工具,并且这些模型已在 Hugging Face 上发布,供评估和实验使用。

Sources