xaviviro/python-toon

何を解決するか

このプロジェクトは、大規模言語モデル（LLM）に構造化データを送信する際のトークン使用量を削減するために設計された、TOON（Token-Oriented Object Notation）形式のPython実装を提供します。標準的なフォーマット（例：JSON）では、余分な句読点が含まれており、不要なトークンを消費する問題を解決することを目指しています。

動作方法

TOONは、YAMLに似たインデントによるネストと、CSVに似た一貫したデータ行の表形式を組み合わせます。可能な限り余分な波かっこ、角かっこ、引用符を削除します。一貫したオブジェクトコレクションの場合、キーを1つのヘッダーに統合し、値を行にリストアップすることで、文字数とトークン数を大幅に削減します。

対象ユーザー

トークンコストを削減し、よりコンパクトなデータ表現によりモデルのパフォーマンスを向上させたい、LLM統合アプリケーションを開発する開発者向けです。

主な特徴

• トークン削減: 一貫したデータに対して、JSONと比較して30〜60%のトークン削減を実現。
• 表形式配列: 一貫したオブジェクトコレクションにCSV風の行を使用し、ネストされた一貫したオブジェクトもサポート。
• 双方向変換: encode と decode 関数を備え、厳密な検証オプションも提供。
• CLIツール: JSONとTOONフォーマット間の変換を可能にするコマンドラインインターフェース。
• 依存関係ゼロ: Python 3.8+で書かれた純粋なPython実装。