rlresearch/dr-tulu

DR Tulu – 深層研究のための強化学習エージェント

何であるか – DR Tulu はオープンソースの研究用言語モデル（8 Bパラメータ）および、深層研究エージェントのトレーニングと実行に必要なコードを備えたリポジトリです。エージェントはウェブをブラウズし、学術APIに問い合わせ、科学的質問に対して長文の回答を合成できます。リポジトリは以下の3つの部分で構成されています：

コンポーネント	目的
agent/	MCPベースのツールバックエンド、高並列非同期リクエスト処理、柔軟なプロンプティングインターフェースを実装するライブラリ（dr‑agent‑lib）。また、エージェントのベンチマーク評価用スクリプトも含まれます。
rl/open‑instruct/	AllenAIのOpen‑Instructに基づく強化学習トレーニングコード。GRPO（ポリシー勾配アルゴリズム）と進化する評価基準を用いて、エージェントに検索・取得・推論の方法を学ばせます。
sft/llama‑factory/	LLaMA‑Factoryに基づく教師あり微調整パイプライン。初期のデモンストレーションデータをもとに、研究能力を持つモデルに変換します。

---

クイックスタート：インタラクティブデモ（CLI）

1. conda環境を作成し、エージェントライブラリをインストール：

   cd agent/
   conda create -n dr_agent python=3.10 -y && conda activate dr_agent
   uv pip install -e .
   

2. エージェントが呼び出せる外部ツール（Serper、Semantic Scholar、Jina Reader）のAPIキーを設定。
3. チャットを起動（1〜2GPUが必要）：

   uv run --extra vllm python scripts/launch_chat.py --model rl-research/DR-Tulu-8B
   

   スクリプトはモデル用のVLLMサーバーと、ツール呼び出しをルーティングするMCPサーバーを自動起動します。その後、研究スタイルの質問を投げかけ、エージェントがウェブをブラウズし、論文を取得し、合成された回答を生成する様子を観察できます。

---

評価の実行

このリポジトリは、HealthBench、Deep Research Bench、SimpleQA、Genetic Diseases、2Wiki、WebWalkerなどのベンチマーク用の完全な評価ハーネスを提供しています。

# 2つのVLLMモデルサーバーを起動（DR‑Tuluと比較モデル）
CUDA_VISIBLE_DEVICES=0 vllm serve rl-research/DR-Tulu-8B --dtype auto --port 30001 --max-model-len 40960
CUDA_VISIBLE_DEVICES=1 vllm serve Qwen/Qwen3-8B --dtype auto --port 30002 --max-model-len 40960

# MCPツールバックエンドを起動
python -m dr_agent.mcp_backend.main --port 8000

サービスが起動後、希望するタスクのループがエージェントの回答生成を実行し、その後 scripts/evaluate.py を呼び出してベンチマークスコアを計算します。詳細な各ベンチマークの手順は agent/evaluation/README.md に記載されています。

---

トレーニングパイプライン

• 教師あり微調整（SFT） – sft/llama-factory/ ディレクトリを使用。標準的な LLaMA‑Factory ワークフローに従います：JSONL形式のインストラクション・レスポンスペアを準備し、YAMLを設定し、1台または複数のGPUでトレーニングを開始します。
• 強化学習（RL） – rl/open-instruct/ を使用。報酬モデルをトレーニングした後、進化する評価基準を用いたGRPOを実行し、評価基準を段階的に厳しくすることで、検索・合成行動の改善を促進します。 両方のセクションは、正確なコマンドラインフラグ、データフォーマット仕様、ハイパーパラメータの推奨事項を記載した独自のREADMEファイルを参照しています。

---

誰が開発したか？

このプロジェクトはアレン研究所 for AI (AI2) が主導し、ワシントン大学、カーネギー・メロン大学、MITの学生と共同で開発されました。関連論文（arXiv 2511.19399）では、DR Tulu‑8Bが長文研究ベンチマークにおいてOpenAIのDeep Researchモデルと同等の性能を達成していると報告しています。

---

引用方法

@article{shao2025dr,
  title={DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research},
  author={Shao, Rulin and Asai, Akari and Shen, Shannon Zejiang and Ivison, Hamish and Kishore, Varsha and Zhuo, Jingming and Zhao, Xinran and Park, Molly and Finlayson, Samuel G and Sontag, David and others},
  journal={arXiv preprint arXiv:2511.19399},
  year={2025}
}

---

TL;DR

DR Tulu は研究用の8 Bパラメータ言語モデルと、トレーニング（SFT + RL）およびデプロイのための完全なスタックを備えています。ウェブをブラウズし、学術APIに問い合わせ、引用豊富な長文回答を生成するエージェントを実現します。リポジトリは再利用可能なエージェントライブラリ、強化学習トレーニングコード、SFTスクリプトに分類されており、実行可能な評価パイプラインとインタラクティブCLIデモを含んでいます。