toon: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

TOON (Token-Oriented Object Notation)은 대규모 언어 모델(LLM)에 구조화된 데이터를 제공할 때 발생하는 토큰 비용을 줄여줍니다. 표준 JSON은 종종 너무 장황하여 비용이 높아지고 대규모 컨텍스트 창에서 효율성이 떨어질 수 있습니다. TOON은 모델이 따르기 더 쉬운 JSON 데이터 모델의 압축적이고 손실 없는 표현 방식을 제공합니다.

작동 방식

TOON은 JSON을 위한 번역 레이어로 작동합니다. 중첩된 객체를 위한 YAML 스타일의 들여쓰기와 균일한 객체 배열을 위한 CSV 스타일의 표 형식 레이아웃을 결합합니다. 배열 길이 [N]와 필드 헤더 {fields}를 한 번만 선언함으로써, 리스트의 모든 항목에 대해 키를 반복할 필요가 없어 명시적인 구조를 유지하면서도 토큰 사용량을 크게 줄입니다.

대상 사용자

과도한 토큰 비용을 발생시키거나 구조적 신뢰성을 잃지 않으면서 모델의 프롬프트에 대량의 구조화된 데이터를 전달해야 하는 LLM 기반 애플리케이션 개발자.

주요 특징

• 토큰 효율성: 혼합 구조 벤치마크에서 JSON보다 약 40% 적은 토큰을 사용합니다.
• JSON 호환성: JSON 데이터 모델의 손실 없는 드롭인(drop-in) 표현 방식입니다.
• LMM 친화적 가드레일: 파싱 신뢰성을 높이기 위해 명시적인 배열 길이와 필드 헤더를 포함합니다.
• 다국어 지원: TypeScript, Python, Go, Rust, .NET에서 사용 가능한 사양 기반 구현체가 제공됩니다.
• 표 형식 배열: 균일한 객체 배열을을 압축된 표 형식으로 변환합니다.