Transformers Agents 2.0 リリースノート / 新機能

Hugging Faceは、大規模言語モデル（LLM）がツールを使用し、過去の観察に基づいて反復的にタスクを解決できるようにするモジュール式フレームワーク、Transformers Agents 2.0をリリースしました。このアップデートでは、マルチステップの推論が可能な新しいエージェントタイプが導入され、オープンソースのLlama-3-70B-InstructエージェントがGAIAリーダーボードで複数のGPT-4ベースのエージェントを凌駕する結果となりました。

Core Design Philosophy

Transformers Agents 2.0は、明快さとモジュール性という2つの主要な設計目標に基づいて構築されています。このフレームワークは、エラーログや属性を透明かつアクセス可能な状態に保つため、抽象化を最小限に抑えています。概念的には、エージェントシステム（車両）とLLMエンジン（動力源）を分離しており、ユーザーはあらゆる基盤となるLLMを使用して、あらゆるエージェントタイプを作成できます。

Key Framework Elements

Tool: 特定の動作を実装するために使用されるクラス。forwardメソッドと、LLMのプロンプト用に使用法マニュアルを動的に生成するためのname、descriptions、inputs、output_typeなどの属性で構成されます。
Toolbox: エージェントのセットアップ中にツールの再初期化によるオーバーヘッドを避けるため、エージェントに提供される事前インスタンス化されたツールのセット。
CodeAgent: 過去の観察に基づいて反復することができない、アクションを単一のPythonコードブロックとして生成する基本的なエージェント。
ReactAgent: 「Thought → Action → Observation」のサイクルに従うエージェント。これには、ReactCodeAgent（Pythonの塊を生成）とReactJsonAgent（JSONの塊を生成）の2つのバリエーションがあります。

Agent Workflows and Execution

エージェントは、LLMが特定のプロセスを通じてツールを利用できるようにすることで動作します。具体的には、プロンプトにツール使用情報を提供し、LLMの出力からツール呼び出しを解析（コードまたはJSON経由）し、それらの呼び出しを実行し、反復型エージェントの場合は、以前のツール呼び出しと観察のメモリを保持します。

Self-Correcting Retrieval-Augmented Generation (RAG)

Transformers Agents 2.0は、自己修正型RAGシステムを構築するために使用できます。動的なパラメータ（特定の知識ベースのソースなど）を受け取るリトリーバーツールをエージェントに提供することで、エージェントは観察に基づいて検索戦略を調整できます。例えば、制限された検索がドキュメントを返さない場合、ReactJsonAgentは、必要な情報を探すために自動的にすべてのソースへ検索範囲を広げることを決定できます。

Multi-Agent Orchestration for Web Browsing

複雑なタスクは、専門化されたエージェントを、より上位レベルのエージェントのツールとしてカプセル化することで解決できます。Hugging Faceは、ウェブナビゲーションの複雑さを扱うために、専門的な「web surfer」エージェント（CohereのCommand-R+によって駆動）を作成することでこれを実証しています。このweb surferは、SearchToolにラップされ、主要なタスク解決エージェント（Llama-3-70B-Instructによって駆動）に提供されます。これにより、上位レベルのエージェントは、専門家に情報収集を委ねる一方で、最終的な推論と計算に集中することができます。

Performance and Benchmarking

LLM Engine Comparison

agents_reasoning_benchmark（HotpotQA、GSM8K、およびGAIAデータセットにおいて、計算機と基本的な検索ツールを使用するもの）を使用して、Hugging Faceはいくつかのエンジンを比較しました：

Llama-3-70B-Instruct: GPT-4 Turboと同等の性能を示し、オープンソースモデルの中でトップを走りました。強力なコーディング能力により、ReactCodeAgent内で使用された場合に特に強みを発揮しました。
Mixtral-8x7B: JSONベースのエージェントと比較して、コードベースのエージェントでは効果が低く、有効なコードの生成に失敗することがより頻繁にありました。

GAIA Leaderboard Results

GAIAベンチマークの全容に対処するため、Hugging Faceは、Llama-3-70B-Instructによって駆動されるReactCodeAgentを使用したマルチモーダルエージェントを実装しました。このエージェントには、SearchTool（ウェブブラウザ）、TextInspectorTool（ドキュメントリーダー）、SpeechToTextTool（distil-whisperを使用）、およびVisualQATool（Idefics2-8b-chattyを使用）を含むツールボックスが装備されています。

この構成は、GAIAリーダーボードで4位に入賞し、多くのGPT-4ベースのエージェントを凌駕し、オープンソースカテゴリにおけるトップコンテンダーとして地位を確立しました。

Future Roadmap

Hugging Faceは、以下の開発によってフレームワークを拡張する計画です：

Hubを介したフルエージェントのプッシュおよびロードの実装（現在のツール共有の範囲を超えて）。
画像処理のための強化されたツール。
高度な長期メモリ管理。
改善されたマルチエージェント協調能力。

Note: transformers.agentsは、smolagentsと呼ばれるスタンドアロンライブラリにアップグレードされました。