フロンティアモデルの実際のコスト:$/Mtok が誤解を招く指標である理由

フロンティアモデルの実際のコスト:$/Mtok が誤解を招く指標である理由

$/Mtok 指標はベンダー間で比較できない

リスト価格で示される 1 万トークンあたりの価格($/Mtok)は一定ではありません。なぜなら、各モデルベンダーが異なるトークナイザーを使用して生テキストを課金単位に変換しているからです。 「トークン」は固定長のテキストではないため、同じリスト価格でも同一入力に対して請求額が大きく異なることがあります。実際のリクエストコストは、コンテンツが変換されたトークン数とトークン単価の積です。

Claude の新しいトークナイザーが実質的なコスト増をもたらす

Anthropic の最新トークナイザー(Sonnet 5、Opus 4.8、Fable 5 で使用)は、従来版に比べて典型的な英語およびコードリクエストで約 32% 多くのトークンを生成します。一部モデルのリスト価格は変わっていませんが、実質的には請求書に明示されない価格上昇となります。

コンテンツタイプ別トークナイザーインフレ

Anthropic の count_tokens エンドポイントを用いた測定結果は、旧トークナイザーから新トークナイザーへ移行した際のトークン数増加を以下のように示しています。

コンテンツ トークン数の変化
英文散文 +34%
TypeScript +31%
Rust +29%
Python +23%
JavaScript +20%
JSON ツールスキーマ +26%
エージェントシステムプロンプト +39%
中文散文 約 0%

Sonnet 5 の価格ウィンドウ

Sonnet 5 は導入価格として $2.00 / $10.00(Sonnet 4.6 の $3.00 / $15.00 から値下げ)でリリースされました。この低価格は増加したトークン数をカバーしていますが、2026 年 9 月 1 日に価格は $3.00 / $15.00 に戻る予定です。この日以降、同じワークロードのコストは Sonnet 4.6 時代の約 3 分の 1 増加します。

ベンダー間のトークナイザー差異

GPT‑5.x の o200k_base トークナイザーを 1.00× の基準とした場合、Claude の新トークナイザーは特にコードに対して効率が大幅に低下しています。 この差は TypeScript で最も顕著で、同一ファイルに対して Claude は GPT の 1.73 倍のトークンを生成します。

トークナイザー倍率(Claude 新 vs. GPT‑5.x)

コンテンツ 倍率
TypeScript 1.73×
Rust 1.58×
JavaScript 1.52×
Python 1.50×
英文散文 1.40×
中文散文 1.44×

TypeScript が最悪ケースなのは、GPT の o200k がウェブ系言語に最適化されており、camelCase 識別子や JSX パターンを Claude のトークナイザーよりも効率的に圧縮できるためです。

コーディングワークロードの実質価格

「実質価格」はリスト価格にトークナイザーの差異を掛けたものです。 典型的な英語のコーディングリクエストに対して、実質コストは大きく乖離します。

モデル リスト価格(入力/出力) 差異 実質価格(入力/出力)
GPT‑5.1 $1.25 / $10.00 1.00× $1.25 / $10.00
Gemini 3 Flash $0.50 / $3.00 1.09× $0.55 / $3.27
Claude Sonnet 5(9/1 以降) $3.00 / $15.00 1.50× $4.50 / $22.50
Claude Opus 4.8 $5.00 / $25.00 1.50× $7.50 / $37.50
Claude Fable 5 $10.00 / $50.00 1.50× $15.00 / $75.00

入力トークナイゼーションを超えて:タスク全体のコスト

入力トークナイゼーションは総請求額の一要素に過ぎません。モデルの冗長性、推論努力、キャッシュ戦略により、タスク全体のコストは入力トークン差(1.73×)以上に乖離することがあります。

主なコスト要因

  • キャッシュトラフィック: キャッシュの読み書きはトークン単位で課金されるため、非効率なトークナイザーはキャッシュ操作ごとのコストを入力インフレと同じ割合で増加させます。
  • 冗長性と考慮: 解答に至るまでにモデルが生成する出力トークンや「考慮」トークン数は大きく変動します。内部推論ループや高冗長性のため、同一エージェントタスクで 2〜4 倍のトークンを使用するモデルもあります。
  • エージェント的振る舞い: ツール呼び出し頻度、ステップごとのコンテキストロード量、サブエージェントの利用は最終請求額に大きく影響します。

コミュニティの見解

ユーザーや開発者は、これらの差異が特に大規模コードベースで顕著に現れると指摘しています。あるユーザーは約 90k 行のレガシー C++ コードベースで、GPT では 1.12M トークン、Claude では 2.2M トークンとなったと報告しています。ほかのユーザーは、正確なコスト予測は「完了タスクあたりのドル額」を測定することでしかできず、レートカードだけに依存すべきではないと強調しています。

モデルコスト比較のための推奨事項

  1. 代表的なコンテンツでテストする: 各ベンダーのトークナイザーに自分の言語やファイルタイプをサンプル投入し、独自の倍率を算出します。
  2. トークナイザーの変更を監視する: トークナイザーのアップデートは価格変更と同等に扱います。モデルのバージョンアップ(例: Opus 4.6 → 4.8)でもリスト価格が変わらなくても約 32% のコスト増になることがあります。
  3. タスクベースのコストを測定する: プロバイダーの usage フィールドを用いて、完了タスクあたりのコストを算出すれば、トークナイゼーション・冗長性・キャッシュを一つの指標に統合できます。

Sources