Kimi K3 と Fable 5: モデルルーティングによる最先端性能の実現

オープンウェイトの Kimi K3 とクローズドな Fable 5 モデルの間でタスクをルーティングすることで、エージェント的タスクにおいて 93% の精度を達成し、どちらか一方のモデルを単独で使用する場合を上回る結果となりました。このアプローチは、長いエージェント・ループにおいて Fable 5 のみに頼る場合と比較して最大 50 倍コスト効率が高く、特化型モデルの混合が単一のフロンティアモデルよりも効率的であることを示しています。

モデルルーティングは単一モデルアーキテクチャを凌駕する

特定のワークロードに最適なモデルへタスクを振り分けるためにルーターを使用することは、単一のモデルを使用するよりも高い全体的な品質をもたらします。約 1,000 件のエージェント的タスクに関する研究において、「オラクル・ルーター（oracle router）」— すべての利用可能なモデルでタスクを実行した後、最も安価で正しい選択肢を選択する理論的な上限— が、K3 と Fable 5 を組み合わせたシステムが、どちらか一方のモデル単独の性能を超えると実証しました。

オラクル・ルーターは全タスクの 72% から 96% で Kimi K3 を選択しており、これは、高性能なルーターを使用すれば、大部分のワークロードに対して最もコスト効率の高いモデルを利用しながら、フロンティアレベルの品質を維持できることを示唆しています。

比較性能: Kimi K3 vs. Fable 5

Kimi K3 と Fable 5 は、トップラインの精度において同様の結果を示していますが、異なるドメインにおいて明確な強みを持っています。

• Software Engineering (SWE): 両モデルともほぼ互角で、K3 は 92.4%、Fable 5 は 92.6% を達成しました。しかし、K3 は記号数学や開発ツールに優れており、Fable 5 は Web やデータ可視化に強みを持っています。
• Terminal Operations: Kimi K3 は、シェル操作やシステム探索を含む長期的なエージェント的ワークにおいて、Fable 5 を大幅に上回ります。K3 は、7z hashes、FEAL cryptanalysis、leaked secrets、および live vulnerabilities に関するタスクを成功裏に完了しましたが、Fable 5 は解決できませんでした。
• Multi-Language Coding: Fable 5 は、特に Java、Python、および C++ において広範なリードを維持していますが、K3 は JavaScript と Rust で競争力があります。
• Legal and Algorithmic Tasks: K3 は、リーガル・エージェントのベンチマークやアルゴリズム問題の解決において、競争力のある優位性を示しています。

コスト効率とプロンプト・キャッシュの役割

Kimi K3 は、テストされた 5 つのタスク・ファミリーすべてにおいて、Fable 5 よりも一貫してコスト効率が高いです。コストの差は、主に 3 つの要因によって引き起こされます：トークン価格、プロンプト・キャッシュ、およびタスクあたりの労力。

SWE タスクにおいて、K3 は Fable 5（21 turns と 130K tokens）と比較して、より多くのターン数（約 55 turns と 1.3M tokens）を必要とすることがあります。しかし、この高いトークン量にもかかわらず、プロンプト・キャッシュにより K3 はより安価に保たれます。逆に、ターミナル・タスクにおいて、Fable 5 は「スパイラル（spiral）」に陥り、より多くのトークン（最大 1.5M tokens）とターン数（64 turns）を消費し、しばしばタイムアウトを招く傾向がありますが、K3 はより効率的です。

コミュニティの視点と批判的分析

業界の実務家や観察者は、これらの結果についていくつかの点を指摘しています。

"The article is about the best you could theoretically do with a perfect router. 完璧なルーターを使用した場合に理論的に達成可能な最高の結果について述べています。得られる教訓は、優れたルーターを構築することは価値のある試みであるということです。しかし、完璧なルーターになることはまずありません。"

批判的な意見として、結果が「オラクル・ルーター」に基づいていることは、実用的な実装ではなく理論的な最大値を示しているに過ぎないという点が挙げられています。また、一部のユーザーは、レポートがオープンモデルをホストする推論プロバイダーによって公開されたものであることに注目し、レポートのバイアスアスクトについて懐疑的な見解を示しました。さらに、地政学的な文脈も指摘されており、中国のハードウェア制約が、米国のラボに比べて中国のラボがよりコスト効率の高いモデルを開発することを余儀なくしている可能性が示唆されています。

ルーターのアクセシビリティに関する懸念も、ポストに含まれているルーターの投稿におけるルーターのアクセシビリティ（利用可能性）や、モデルがローカルで実行できない場合に、それらが本当に「オープン」であると言えるのかという点についても、追加の懸念が示されました。また、一部のユーザーは、この研究のベンチマークが、Fable 5 がより多くのカテゴリーで圧倒していると報告されている arena.ai のような一般的なリーダーボードとの結果が異なる可能性があることも指摘しています。