Hugging Face オープンソース DeepResearch

Hugging Faceは、OpenAIのDeep Researchの能力を再現するエージェントフレームワークを開発し、オープンソース化しました。コードネイティブなエージェントアプローチを利用することで、システムはGAIAベンチマークの検証セットで55.15%のスコアを達成し、以前のオープンソースフレームワークのベンチマークを大幅に上回りました。

LLMパフォーマンスにおけるエージェントフレームワークの役割

エージェントフレームワークは、Large Language Model (LLM)の上に統合されたレイヤーで、モデルがウェブの閲覧やPDFドキュメントの読み取りなどのアクションを実行し、これらの操作を構造化されたステップのシリーズに整理することを可能にします。

LLMをエージェントシステムに統合すると、スタンドアロンモデルと比較して大幅なパフォーマンス向上が得られます。Hugging Faceは、smolagentsライブラリを使用することで特定のベンチマークにおいてパフォーマンスが最大60ポイント向上すると報告しています。これは、OpenAIの発見と一致しており、Deep ResearchがスタンドアロンLLMよりも「Humanity’s Last Exam」ベンチマークで著しく優れた性能を示したことを指摘しています。

GAIAベンチマークでの評価

General AI Assistants (GAIA)ベンチマークは、高レベルの計画と厳格な実行を必要とするため、これらのシステムの評価に使用されます。GAIAの質問は通常、以下を含みます：

Constrained formatting: 特定の構造での回答を要求する。
Multimodal capabilities: 画像から情報を抽出する。
Information gathering: 相互依存する複数のデータを見つける。
Complex chaining: 問題解決の軌道を正しい順序で実行する。

スタンドアロンのGPT-4はGAIA検証セットで7%未満のスコアですが、OpenAIのDeep Researchは67.36%に達しました。Hugging Faceのオープンソース実装は現在55.15%です。

技術的実装: CodeAgentsとツール

コードネイティブエージェントの利点

Hugging Faceは、「CodeAgent」を利用しており、エージェントはJSONではなくコードでそのアクションを表現します。このアプローチにはいくつかの技術的な利点があります：

Conciseness: コードは複雑なアクションのシーケンスをより効率的に表現できます。たとえば、並列ストリームのアクションを実行する場合、JSONのブロブよりもコードでははるかに少ないステップで済みます。
Efficiency: コードアクションはJSONに比べて約30%少ないステップで済み、トークン生成を削減し、運用コストを低減します。
State Management: コードは状態の扱いを改善し、特にマルチモーダルタスクにおいて有効です。画像やオーディオは変数に割り当てて複数のステップで再利用できます。
Performance: LLMsはトレーニング中にコードへの広範な曝露があるため、コードを使用すると一般的にパフォーマンスが向上します。

ツール統合

現在の概念実証は、Microsoft ResearchのMagentic-Oneから適応された2つの主要なツールを使用しています：

Text-based Web Browser: 初期のウェブインタラクション用のシンプルなブラウザ。
Text Inspector: 各種テキストファイル形式を読み取ることができるツール。

結果と比較

24時間の再現スプリントにおいて、Hugging FaceはGAIAにおけるオープンソースの最先端を約46%（Magentic-One）から55.15%に向上させました。同じセットアップをJSONベースのエージェントに切り替えたときに、コードネイティブアプローチの重要性が強調されました。これにより、検証セットでのパフォーマンスが33%に低下しました。

今後のロードマップとコミュニティの取り組み

プロプライエタリシステムと完全なパリティを達成するため、Hugging Faceはブラウザーのインタラクションを改善する必要があると特定しています。開発の次のフェーズでは、画面を表示し、マウスとキーボードを介して直接対話できるGUIエージェントの構築に焦点を当てています。

Deep Researchの他のコミュニティ実装は、dzhng、assafelovic (gpt-researcher)、nickscamara、jina-ai、mshumerなどの貢献者から生まれています。Hugging Faceは、DeepSeek R1などのオープンLLMを使用してこれらの結果をさらにベンチマークし、ビジョンLMの統合を探求することを目指しています。