NVIDIA AI-Q Blueprint: DeepResearch Benchでトップランクのオープンディープリサーチエージェント

NVIDIAのAI-Q Blueprintは、ポータブルでオープンなディープリサーチエージェントであり、DeepResearch BenchのHugging Face「LLM with Search」リーダーボードでトップに到達しました。この成果は、オープンソースのAIスタックが、クローズドソースの代替品に匹敵またはそれを上回る高度なエージェントワークフローを実現できることを示しています。

コア技術スタックとアーキテクチャ

AI-Q Blueprintは、長文コンテキスト検索、エージェント推論、合成を管理するために、2つの高性能オープンLLMを融合しています。

  • Llama 3.3-70B Instruct: 流暢で構造化されたレポート生成の基盤として使用。
  • Llama-3.3-Nemotron-Super-49B-v1.5: ニューラルアーキテクチャサーチ（NAS）、知識蒸留、教師あり・強化学習で最適化された推論特化型バリアント。マルチステップ推論、クエリ計画、ツール使用、リフレクションに特化しています。

これらのモデルを支えるため、参照例ではNVIDIA NeMo Retrieverを使用して内部・外部データ全体にわたるスケーラブルなマルチモーダル検索を実現し、NVIDIA NeMo Agent toolkitで複雑なマルチステップワークフローをオーケストレーションしています。このアーキテクチャにより、ローカルデータとウェブデータの並列・低遅延検索が可能となり、高いプライバシーとコンプライアンスが求められる環境でも展開できます。

Llama Nemotronの深層推論能力

Llama-3.3-Nemotron-Super-49B-v1.5は、明示的なエージェント推論のためにポストトレーニングされており、システムプロンプトを通じて推論のON/OFFを切り替えることができます。これにより、モデルは標準的なチャットLLMとして、またはエージェントパイプライン用の深いチェーン・オブ・ソート推論エンジンとして機能できます。

主な技術仕様

  • Post-training: 指示に従うこと、数学/プログラミング的推論、ツール呼び出しスキルを組み合わせたマルチフェーズアプローチ。
  • Efficiency: 490億パラメータと最大128Kトークンのコンテキストウィンドウを備え、単一のH100 GPUまたはそれ以下で実行でき、予測可能で高速な推論コストを保証します。
  • Lineage: このモデルはオープンなMetaウェイトから直接トレース可能で、合成データとチューニングデータセットに関する透明性があります。

評価指標と透明性

AI-Qは、推論トレースと中間ステップの透明性を重視しています。開発チームは、標準的および専門的な指標の組み合わせを用いて堅牢性を確保しました。

  • Hallucination Detection: 生成プロセス中に事実主張がチェックされます。
  • Multi-source Synthesis: 異なる証拠から新たな洞察を合成する能力。
  • Citation Trustworthiness: 主張と証拠間のリンクを自動評価します。
  • RAGAS Metrics: 検索強化生成の精度を自動スコアリングします。

DeepResearch Benchのパフォーマンス

DeepResearch Benchは、科学、金融、芸術、歴史、ソフトウェアなどの分野にわたる100以上の長文コンテキストの実世界リサーチタスクを使用してエージェントスタックを評価します。これらのタスクは、単純なQAではなく、複雑なマルチホップ推論とレポート長の合成を必要とします。

2025年8月時点で、AI-QはLLM with Searchカテゴリで総合スコア40.52を達成し、完全にオープンライセンスのスタックでトップランクとなりました。システムの最も強力なパフォーマンス指標は、包括性（レポートの深さ）、洞察性（分析の質）、および引用品質でした。

開発者向けの利用可能性

Llama-3.3-Nemotron-Super-49B-v1.5 と Llama 3.3-70B Instruct の両方は、Hugging Faceでダウンロード可能です。開発者は、Pythonを使用してこれらのモデルを自分のパイプラインに統合したり、vLLMでデプロイして高速推論とツール呼び出しサポートを利用したりできます。

Sources