Hugging Face のエージェントツールにおけるオープンモデルのベンチマーク

Hugging Face はベンチマークハーネスを開発し、コーディングエージェントが正しい答えに到達したかどうかだけでなく、そこに至るまでに必要なトークン数、時間、ターン数で測定される努力も測定します。transformers ライブラリを事例として使用し、エージェント向けにソフトウェアを最適化する（例：CLI の追加やキュレーションされたドキュメント）ことで、大規模モデルのレイテンシを大幅に削減できる一方で、 小規模モデルでは曖昧さや失敗を招く可能性があることを示しています。

最終回答を超えるエージェント効率の測定

従来のベンチマークは最終出力のみに焦点を当てることが多く、プロセスの運用コストや信頼性が隠されてしまいます。Hugging Face は、同じ結果に到達した二つのエージェントでも、コスト、レイテンシ、トークン使用量の観点で大きく異なるプロファイルを持つことがあると主張しています。例えば、あるエージェントは感情分類を行うために複雑な 40 行の Python スクリプトを書き、別のエージェントは単一の CLI コマンドを使用するかもしれません。

これらのニュアンスを捉えるために、ベンチマークハーネスはエージェントを環境アクセスの 3 つの異なる階層で評価します:

• Bare: エージェントは pip install transformers によってライブラリがインストールされているだけです。
• Clone: エージェントは作業ディレクトリにライブラリの完全なソースコードをチェックアウトしています。
• Skill: エージェントには、キュレーションされた CLI ドキュメントとタスク固有の例がコンテキストにロードされたパッケージ化された「Skill」が提供されます。

モデルサイズがツール採用に与える影響

研究は、エージェントを駆動するオープンモデルのサイズと能力に基づく異なる影響を明らかにしています。

大規模オープンモデル

非常に高性能なモデルでは、タスク完了率がほぼ 100% に近づくことが多く、「match %」はあまり有用な指標ではなくなります。その代わりに、必要な努力に焦点が移ります。研究では、専用の CLI と Skill を導入することで、大規模モデルのタスクに費やす中央値時間が短縮され、Python スクリプトのデバッグから効率的な CLI コマンドの使用へとシフトしたことが分かりました。

しかし、この効率性はトークンのトレードオフを伴います。clone バリアントでは、エージェントは新しい CLI 実装や例示スクリプトを読み取ってインターフェースを学習することが多く、中央値の入力トークン数が約 4k から 6.4k に増加します。この発見コストは通常、一度限りの費用であり、実際のセッションでは複数のタスクにわたって償却されます。

小規模オープンモデル

小規模モデルにとっては、「match %」が依然として重要な指標です。調査結果は、優れたツールインターフェースは必須であるものの、新たな機能を追加することが逆効果になることも示しています。例えば、Qwen3-4B モデルは CLI を追加した後、clone ティアでトークン消費が約 2.4k から約 23k に急増しました。これは、正確性の向上なしにソースコードを一括で読み取ったためです。

さらに重要なのは、一部の小規模モデルで正確性が崩壊したことです。Qwen3-14B モデルの感情分類におけるマッチ率は、clone バリアントで 100% だったのが、Skill バリアント使用時には 0% に低下しました。トレースから、モデルが Skill ドキュメントを直接呼び出せるツール（例：transformers(command="classify", ...)）と誤解し、bash シェルで実行すべきコマンドとして認識せず、タスクを不可能と宣言したことが判明しました。

技術的実装と「マーカー」

生の指標を超えてエージェントの挙動を分析するために、ハーネスは「マーカー」―実行中の特定の挙動にマッチする名前付きパターン―を利用します。transformers の研究では、2 つの主要なマーカーが使用されました。

• cli: エージェントが transformers コマンドラインツールを呼び出したときにトリガーされます。
• pipeline: エージェントが高レベルの pipeline(...) Python API を使用したときにトリガーされます。

データは、大規模モデルが Skill ティアを通じて新しいコンテキスト（CLI）を活用する可能性が高く、採用率は 55.3% であるのに対し、小規模モデルは訓練データから記憶した API パターンに依存する傾向が強いことを示しました。

ライブラリメンテナへの重要なポイント

ソフトウェア開発者に対する主な結論は、エージェント向け API はさまざまなモデルサイズで評価する必要があるということです。強力なモデルのワークフローを効率化する機能は、小規模モデルでは曖昧さを招いたり、失敗モードを引き起こす可能性があります。これを緩和するために、Hugging Face は Upskill のようなツールの使用を提案しています。Upskill は、強力なモデルを用いてスキルを生成・検証し、実際に小規模モデルの性能向上が測定できる場合にのみ適用します。

ツールと利用可能性

ベンチマークハーネスは agent-eval という CLI として実装されています。これはプロファイルベースで設計され、コマンドラインから操作できる任意のライブラリに適応可能です。システムは同一ハードウェア上での並列実行に Hugging Face Jobs を利用し、結果とトレースは Hugging Face Buckets に保存され、Hub の agent‑traces ビューアで分析できます。