billion-token-one-task/Deepgraph

解决的问题

DeepGraph 通过自动化识别开放性问题并透过实际实验进行验证的过程，解决了在 AI 和计算科学领域难以找到真正研究进展的问题。它超越了简单的 LLM 生成答案，建立了一个循环，结论必须通过可重新执行的代码或数据来确认或反驳，从而防止“幸运分数”并确保结果可审计。

运作方式

DeepGraph 通过五个步骤的流程运作：

1. 读取 (Read)：收集 arXiv 论文以提取声明、方法和结果。
2. 映射 (Map)：将这些数据组织成包含实体、关系和矛盾的证据图。
3. 提问 (Ask)：使用基于 SQL 的结构检测器来识别开放性研究问题，而不依赖 LLM。
4. 测试 (Test)：将这些问题转换为在 CPU 或 GPU 上执行的预算实验。
5. 判断 (Judge)：采用“证据阶梯”根据公平比较发布裁决，进而更新搜索循环。

目标对象

它专为需要可检验结论的研究人员设计，并供 JouleBeat 实验室通过测试新的代理框架和基准测试来加速其自身的研发。

特色亮点

• 基于证据：使用证据图来追踪数千篇论文中的矛盾和关系。
• 自我审计：如果发现结论基于空洞的模型输出，能够撤回自己的结论。
• 自动化实验：将理论问题转化为具有分配计算预算的预注册实验。
• 非 LLM 发现：使用纯 SQL 检测器识别研究机会，以避免在“提问”阶段出现 LLM 幻觉。