LLMON: LLM 네이티브 마크업 언어, Granite 4.1 3B 및 8B에서 지원
개요
LLMON(LLM Object Notation)은 LLM에 구조와 의미를 명시적으로 전달하기 위해 설계된 새로운 마크업 언어로, 비정형 또는 JSON 기반 컨텍스트 윈도우에 내재된 취약성과 보안 문제를 해결합니다. IBM은 granite-4.1-3b-LLMON-preview와 granite-4.1-8b-LLMON-preview라는 두 가지 실험적 프리뷰 모델을 출시했으며, 이 모델들은 LLMON으로 마킹된 텍스트를 네이티브로 소비하고 생성하도록 학습되었습니다.
LLMON이 LLM을 위해 JSON을 대체하는 이유
JSON은 LLM의 인과적 특성이 아닌 기계 파서를 위해 설계되었습니다. JSON에서 따옴표나 대괄호와 같은 구조적 구분 기호는 종종 콘텐츠와 구별하기 어려우며, 트랜스포머 모델은 깊은 중첩에 필요한 장기 의존성 추적에 어려움을 겪습니다.
LLMON은 구분 기호가 표준 문자가 아닌 예약된 특수 토큰인 XML과 유사한 구조를 사용합니다. 이를 통해 구조와 콘텐츠가 모델 어휘의 별도 부분에 위치하게 됩니다. 고유 ID를 사용하여 지침을 특정 데이터 페이로드에 바인딩함으로써, LLMON은 모델이 컨텍스트를 불투명한 텍스트 문자열이 아닌 주소 지정이 가능한 블록의 연속으로 처리하도록 합니다.
프롬프트 인젝션 완화
LLMON은 지침과 데이터를 엄격하게 분리함으로써 간접 프롬프트 인젝션 공격의 성공률을 크게 낮춥니다. 모델이 특정 실행 블록을 인식하도록 학습되었기 때문에, 데이터 페이로드 내에 포함된 지침을 실행 가능한 명령이 아닌 비활성 자료로 취급합니다. OPI 데이터셋에 대한 벤치마크 결과, LLMON 모델은 최고의 테스트를 거친 프론티어 모델보다 47%, 최고의 오픈 소스 모델보다 95% 더 많은 공격을 방어했으며, 표준 Granite 4.1 Instruct 모델과 동등한 일반 성능을 유지했습니다.
통합 및 학습
LLMON은 기존 채팅 템플릿을 대체하는 것이 아니라 보완하도록 설계되었습니다. 개발자는 표준 messages 목록을 계속 사용할 수 있으며, 이는 모델의 채팅 템플릿을 통해 LLMON 블록으로 렌더링됩니다. 지침, 데이터, 요구 사항과 같은 각 구성 요소는 exec: True 또는 False로 표시될 수 있으며, 이를 통해 모델에 컨텍스트 중 어떤 부분이 권위 있는 정보인지 효과적으로 알릴 수 있습니다.
이 모델들은 Granite 4.1 베이스 체크포인트에서 다단계 프로세스를 통해 학습되었습니다:
- 재직렬화: 기존 지침 튜닝 코퍼스를 LLMON 형식의 블록으로 변환했습니다.
- 데이터 증강: 학습 세트에는 미끼 지침과 바인딩되지 않은 데이터 블록이 포함되어 모델이 참조되지 않은 정보를 무시하도록 학습시켰습니다.
- 강화 학습: 학습에는 추론, RLHF, 지식 보정을 다루는 5단계의 순차적 GRPO 단계가 포함되었으며, 이후 모델 자신의 인젝션 시도 응답에서 파생된 선호도 쌍을 사용하여 최종 DPO 단계를 거쳤습니다.
사용자 정의 및 가용성
LLMON은 스키마에 구애받지 않으므로 사용자가 특정 도메인에 대한 사용자 정의 태그 이름과 구조를 정의할 수 있습니다. 제공된 ScienceWorld 예제에서 볼 수 있듯이, 사용자는 LLMON 베이스 모델 위에 LoRA 어댑터를 파인튜닝하여 도메인별 어휘를 이해시킬 수 있습니다. 이 프로젝트에는 데이터 손실 없이 기존 JSON을 LLMON으로 변환하는 도구가 포함되어 있으며, 모델은 평가 및 실험을 위해 Hugging Face에서 사용할 수 있습니다.