AutoTrustAI/PaperGuru-Benchmark

Lifecycle-Aware Memory for long-horizon LLM agents — 66.05% on PaperBench, 94.66% on SurveyBench, 10 peer-reviewed acceptances at FSE/ICML/TOSEM/AEI/ICoGB

What it solves

PaperGuru는 200K 토큰 규모의 설문 작성이나 복잡한 연구 논문 재현과 같은 장기 과제에서 현재 LLM 에이전트가 겪는 한계를 해결합니다. 기존 RAG나 컨텍스트 윈도우만으로는 충분하지 않습니다. 에이전트가 오래된 정보를 사용하는 것을 방지하고, 인용 간 다중 홉 관련성을 처리하며, 아카이브가 커져도 쿼리 비용을 일정하게 유지하도록 "Lifecycle-Aware Memory"(LAM) 프리미티브를 도입합니다.

How it works

시스템은 Capital Chunk Memory (CCM) 아키텍처를 사용하여 메모리를 두 계층으로 나눕니다:

  1. Chunk heads: 각 아티팩트당 하나의 컴팩트한 라우팅 표면으로, 효율적인 검색에 사용됩니다.
  2. Chunk contents: 필요할 때만 접근하는 전체 원시 텍스트.

정보는 시간적 아티팩트 그래프를 통해 조직되며, 구조적 엣지(cites, implements)와 역사적 인과 엣지(superseded-by, retracted-by)를 포함합니다. 처리 파이프라인은 Search → Extract → Reason → Verify 흐름을 따르며, 출처에 기반한 "증거 카드"를 생성하고 에이전트는 이를 사용해 출력물을 구성, 비판 및 변형합니다.

Who it’s for

학술 연구, 소프트웨어 엔지니어링, 임상 증거 합성 등에서 버전 관리와 출처 추적이 필요한 장기 과제용 LLM 에이전트를 구축하는 연구자와 개발자를 위한 것입니다.

Highlights

  • State-of-the-Art Performance: PaperBench(논문‑코드 재현)와 SurveyBench(장문 설문 작성)에서 베이스라인을 능가합니다.
  • Lifecycle Awareness: 정보의 수정, 폐기, 철회를 처리하도록 특별히 설계되었습니다.
  • Provenance Grounding: 출력의 모든 주장은 메모리 내 검증 가능한 아티팩트로 추적할 수 있습니다.
  • Causal Graph Routing: 코사인 유사도에만 의존하지 않고, 시간적 아티팩트 그래프를 활용해 다중 홉 증거를 찾습니다.