billion-token-one-task/Deepgraph

解決する課題

DeepGraph は、AI および計算科学における真の研究の進歩を見つけることの難しさに対し、未解決の問いを特定し、実際の実験を通じて検証するプロセスを自動化することで対処します。単なる LLM が生成した回答を超え、結論が再実行可能なコードやデータによって確認または反論されなければならないループを作成することで、「ラッキースコア」を防ぎ、結果の監査可能性を確保します。

仕組み

DeepGraph は5段階のパイプラインで動作します：

1. 読み取り (Read)：arXiv の論文を収集し、主張、手法、結果を抽出します。
2. マッピング (Map)：このデータを、エンティティ、関係、矛盾からなる証拠グラフに整理します。
3. 問いかけ (Ask)：LLM に頼らず、SQL ベースの構造検出器を使用して未解決の研究課題を特定します。
4. テスト (Test)：これらの問いを、CPU または GPU 上で実行される予算管理された実験に変換します。
5. 判断 (Judge)：公平な比較に基づいて判定を下す「証拠の梯子 (evidence ladder)」を採用し、それが検索ループを更新します。

対象ユーザー

検証可能な結論を必要とする研究者向けに設計されており、また JouleBeat ラボが新しいエージェントハーネスやベンチマークをテストすることで、独自の R&D を加速させるために使用されます。

ハイライト

• 証拠ベース：証拠グラフを使用して、数千の論文にわたる矛盾や関係を追跡します。
• 自己監査：結論が空のモデル出力に基づいていると判明した場合、自ら結論を撤回できます。
• 自動化された実験：理論的な問いを、計算予算が割り当てられた事前登録済みの実験に変換します。
• 非 LLM による発見：「問いかけ」フェーズでの LLM のハルシネーションを避けるため、純粋な SQL 検出器を使用して研究機会を特定します。