billion-token-one-task/Deepgraph

해결하는 문제

DeepGraph는 AI 및 계산 과학 분야에서 진정한 연구 진전을 찾기 어려운 문제를 해결하기 위해, 미해결 질문을 식별하고 실제 실험을 통해 이를 검증하는 과정을 자동화합니다. 단순히 LLM이 생성한 답변을 넘어, 결론이 재실행 가능한 코드나 데이터에 의해 확인되거나 반박되어야 하는 루프를 생성함으로써 '운 좋은 점수(lucky scores)'를 방지하고 결과의 감사 가능성을 보장합니다.

작동 방식

DeepGraph는 5단계 파이프라인을 통해 작동합니다:

1. 읽기 (Read): arXiv 논문을 수집하여 주장, 방법, 결과를 추출합니다.
2. 매핑 (Map): 이 데이터를 엔티티, 관계, 모순으로 구성된 증거 그래프로 정리합니다.
3. 질문 (Ask): LLM에 의존하지 않고 SQL 기반 구조 탐지기를 사용하여 미해결 연구 질문을 식별합니다.
4. 테스트 (Test): 이러한 질문을 CPU 또는 GPU에서 실행되는 예산이 할당된 실험으로 변환합니다.
5. 판단 (Judge): 공정한 비교를 바탕으로 판결을 내리는 '증거 사다리(evidence ladder)'를 사용하여 검색 루프를 업데이트합니다.

대상 사용자

검증 가능한 결론이 필요한 연구자를 위해 설계되었으며, JouleBeat 연구소가 새로운 에이전트 하네스와 벤치마크를 테스트하여 자체 R&D를 가속화하는 데 사용됩니다.

주요 특징

• 증거 기반: 증거 그래프를 사용하여 수천 편의 논문에 걸친 모순과 관계를 추적합니다.
• 자기 감사: 결론이 빈 모델 출력에 기반한 것으로 밝혀지면 스스로 결론을 철회할 수 있습니다.
• 자동화된 실험: 이론적인 질문을 계산 예산이 할당된 사전 등록된 실험으로 변환합니다.
• 비 LLM 발견: '질문' 단계에서 LLM의 환각을 피하기 위해 순수 SQL 탐지기를 사용하여 연구 기회를 식별합니다.