xaviviro/python-toon

해결하는 문제

이 프로젝트는 대규모 언어 모델(LLM)에 구조화된 데이터를 전송할 때 사용하는 토큰 수를 줄이기 위해 설계된 TOON(Token-Oriented Object Notation) 형식의 파이썬 구현을 제공합니다. 일반적인 형식인 JSON과 같이 중복된 구두점이 포함되어 불필요한 토큰을 소비하는 문제를 해결합니다.

작동 방식

TOON은 YAML과 유사한 들여쓰기 기반의 중첩과 CSV와 유사한 일관된 데이터 행의 표 형식을 결합합니다. 가능한 한 중복된 중괄호, 대괄호, 따옴표를 제거합니다. 일관된 객체 컬렉션의 경우, 키를 하나의 헤더로 압축하고 값들을 행으로 나열함으로써 문자 수와 토큰 수를 크게 줄입니다.

대상 사용자

프롬프트와 응답의 토큰 비용을 절감하고, 더 컴팩트한 데이터 표현을 통해 모델 성능을 향상시키고자 하는 LLM 통합 애플리케이션 개발자에게 적합합니다.

주요 특징

• 토큰 감소: 일관된 데이터에 대해 JSON 대비 30~60%의 토큰 감소를 달성.
• 표 형식 배열: 일관된 객체 컬렉션에 CSV 유사 행을 사용하며, 중첩된 일관된 객체도 지원.
• 양방향 변환: 엄격한 검증 옵션을 갖춘 encode 및 decode 함수 포함.
• CLI 도구: JSON과 TOON 형식 간의 변환을 위한 명령줄 인터페이스 제공.
• 의존성 없음: 순수한 파이썬 3.8+로 작성됨.