zurawiki/tiktoken-rs

Ready-made tokenizer library for working with GPT and tiktoken

解決する課題

OpenAIモデル専用のテキストトークン化(Tokenization)を行うRustライブラリを提供します。これにより、開発者はテキスト入力内のトークンを正確にカウントおよびエンコードできるようになり、OpenAI APIを使用する際のコンテキストウィンドウの管理やコスト計算に不可欠な機能となります。

仕組み

tiktoken ライブラリをベースに構築されており、GPT-4o、o1、GPT-5シリーズなど、さまざまなOpenAIモデル向けのトークナイザーを提供します。テキストのエンコードやトークンカウントのためのヘルパー関数に加え、チャット補完リクエストの max_tokens パラメータを計算するための専用ツールも含まれています。

対象ユーザー

OpenAIモデルを統合したアプリケーションを開発しており、Pythonベースのツールに依存せずにトークン化を正確に処理したいRust開発者。

主な特徴

  • 幅広いモデルサポート: GPT-4o、o1、GPT-5などのモデルで使用される o200k_base、cl100k_base、p50k_base を含む、多様なOpenAIエンコーディングをサポートしています。
  • パフォーマンス: シングルトンパターンを採用しており、繰り返し呼び出される際のトークナイザーの再初期化を回避します。
  • チャット統合: チャット補完リクエストのトークン予算を計算するための専用ヘルパーが含まれており、async-openai クレートのサポートもオプションで利用可能です。
  • コンテキストウィンドウ追跡: 各種OpenAIモデルのコンテキストウィンドウサイズに関するデータを提供し、入力制限の管理を支援します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト