Kimi K3 リリースとペリカン SVG ベンチマークからの教訓

Kimi K3 のデビューとその重要性

Moonshot AI は 2026年7月16日に Kimi K3 を発表し、これまでで最も高性能なモデルとして、2.8兆パラメータを持ち、2026年7月27日までにオープンウェイト版のリリースを約束しました。モデルの価格は入力トークン 100 万件あたり $3、出力トークン 100 万件あたり $15 で、Anthropic の Claude Sonnet の価格設定と同等で、これまでの中国系ラボモデルの中で最も高価です。自己報告されたベンチマークでは、K3 は Claude Opus 4.8 max と GPT‑5.5 high を上回り、Claude Fable 5 と GPT‑5.6 Sol に次ぐ位置です。

「私たちのプライベートな長期知識作業評価において、Kimi K3 は総合 Elo が 1547 に達し、K2.6 より 732 ポイント高く、Claude Fable 5 のみが上回っています。」 – Artificial Analysis report

「タスクあたりのコスト ($0.94) は GPT‑5.6 Sol ($1.04) と類似で、Opus 4.8 ($1.80) の約半額であり、オープンウェイトの同業者よりも高いです。」 – same report

これらの数値は、K3 が競争力のある品質‑価格比を提供し、以前は DeepSeek の 1.6 T v4 Pro のみが主張していた 3 兆パラメータクラスに進出していることを示しています。

ペリカン・オン・ア・バイシクル SVG テスト：簡易サニティチェック

Simon Willison は OpenRouter プロキシと自身の llm-openrouter CLI を使用して、K3 に 「ペリカンが自転車に乗っている SVG を生成してください」 と依頼しました。このリクエストは 95 トークンのプロンプトと 16,658 出力トークン（うち 13,241 が推論トークン）を生成し、約 $0.25 のコストがかかりました。同じ SVG 画像をビジョン機能で K3 に再入力すると、モデルは $0.006 で簡潔な alt‑text 説明を返しました。

数字が示すこと

  1. 推論の労力が重要 – K3 は現在、単一の「max」推論モードを提供しており、3.4 k トークンの応答に対して 13 k 推論トークンを消費したため、ペリカンのタスクは比較的高コストです。
  2. 隠れたシステムプロンプト – K3 に単純な「hi」でプロンプトすると 86 トークンがカウントされ、約 85 トークンの隠れたシステムプロンプトが存在し、モデルはそれを公開しないことが示唆されます。これは DeepSeek‑V4 の max‑mode プロンプトでの観測と類似しています。
  3. ビジョンが機能 – SVG から生成された alt‑text は正確かつ詳細で、K3 のマルチモーダルパイプラインが自らの画像出力を解釈できることを確認しています。

ペリカンベンチマークが依然として重要な理由

ペリカン SVG プロンプトは 21 ヶ月以上にわたり LLM の 「hello world」 として使われてきました。当初は全体的なモデル品質と驚くほど相関していましたが、最近のリリース（GPT‑5.6、Claude Fable 5、GLM‑5.2）により追い越され、その限界が露呈しています。

「ペリカンの最大の制限は、今日のモデルで最も重要な点、すなわちエージェント的ツール呼び出しと、会話が長くなるにつれてツールを信頼性高く操作できる能力に全く触れていないことです。」 – Simon Willison

実務者への実践的な示唆

  • タスクあたりコストの見積もり – ペリカンテストは、中程度に複雑な生成タスクにおけるトークン使用量と金銭コストの大まかな上限を示します。
  • モデル非依存のサニティチェック – 有効な SVG を取得できれば、モデルが構造化テキスト生成と基本的な幾何学を扱えることが確認できます。
  • バージョン間比較 – 同じプロンプトをモデルファミリー間で実行（例：K2.6 → K3）すると、推論効率と出力品質の漸進的な改善が浮き彫りになります。
  • プロンプトトークンの計算 – 隠れたトークンが観測されることで、開発者はシステムプロンプトを API 使用量の予算に考慮すべきことを思い出させます。

コミュニティの洞察と批判

  • パラメータ数 vs. アテンション密度 – 一部のコメント者は、GLM‑5.2 は規模が小さいにもかかわらず大きな競合を上回ることから、アテンション機構が単なるパラメータ数より重要かもしれないと指摘しています。
  • 学習データ漏洩の懸念 – 少数の参加者は、ペリカン・オン・ア・バイシクル SVG が既に学習コーパスに存在し、ベンチマークスコアを過大評価している可能性があると推測しています。
  • ベンチマークの安定性 – 他の人は、ペリカンプロンプトのような静的テストは歴史的な安定性を提供するが、進化するベンチマークの方が現在の能力をより正確に捉えると主張しています。
  • ツール呼び出しのギャップ – 複数のコメントは、現代の LLM 評価は画像生成だけでなく、ツール使用、長文コンテキスト推論、エージェント的行動に焦点を当てるべきだと強調しています。

ペリカンテストを自分で実行する方法

  1. Simon Willison の LLM CLI をインストールします（pip install llm）。
  2. OpenRouter（または直接 API キー）を使用してモデルを呼び出します：
    llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'
  3. ビジョン用に、生成された SVG を alt‑text プロンプトと共にモデルに再入力します。
  4. 応答メタデータまたは llm‑prices.com のようなサービスでトークン使用量を追跡します。

結論

Kimi K3 は中国の LLM にとって重要な一歩であり、米国の主要モデルと同等の価格で競争力のある品質を提供します。ペリカン・オン・ア・バイシクルベンチマークはもはや決定的な品質指標ではありませんが、コスト、推論労力、マルチモーダル能力を評価する低コストのサニティチェックとして有用です。LLM が成熟するにつれ、開発者はツール使用、長文コンテキストの一貫性、実世界のエージェント的パフォーマンスを重視した評価を、こうした静的プロンプトに加えて実施すべきです。

Sources

関連