PaperGuru-AI/PaperGuru-Benchmark

Lifecycle-Aware Memory for long-horizon LLM agents — 66.05% on PaperBench, 94.66% on SurveyBench, 10 peer-reviewed acceptances at FSE/ICML/TOSEM/AEI/ICoGB

What it solves

PaperGuru는 며칠에 걸친 소프트웨어 엔지니어링, 200K 토큰 규모의 문헌 조사, PDF에서 연구 논문을 재현하는 등 장기 과제에서 현재 LLM 에이전트가 직면한 한계를 해결합니다. 이러한 과제의 한계는 추론 능력이 아니라 세션 간 정보를 기억하고 검색하는 시스템의 능력에 의해 결정됩니다. 단순 RAG 또는 에이전트 전용 메모리 해킹을 정식 "Lifecycle‑Aware Memory"(LAM) 시스템으로 대체합니다.

How it works

PaperGuru는 Capital Chunk Memory (CCM) 아키텍처를 구현하여 메모리를 두 개의 표면으로 구분합니다: 라우팅을 위한 컴팩트한 "chunk heads"와 원시 텍스트를 위한 무제한 "chunk contents". 구조적 엣지(예: 인용)와 역사적 인과 엣지(예: 폐기)를 갖는 시간적 아티팩트 그래프를 사용해 정보를 관리합니다.

시스템은 네 단계 파이프라인을 따릅니다:

  1. Search: 순위가 매겨진 아티팩트 헤드를 식별합니다.
  2. Extract: 증거 기반 "evidence cards"를 생성합니다.
  3. Reason: Compose → Critique → Mutate 루프를 사용해 초안 세그먼트를 만듭니다.
  4. Verify: 인용 및 증거 검증이 된 출력을 생성합니다.

Who it’s for

고충실도 검색, 정보 버전 관리, 검증 가능한 증거가 필요한 장기 LLM 에이전트를 구축하는 연구자와 개발자를 위해 설계되었습니다. 특히 학술 연구 및 코드 재현과 같은 복잡한 작업에 적합합니다.

Highlights

  • Lifecycle‑Aware Memory: 버전화된 콘텐츠, 다중 홉 관련성, 제한된 쿼리 비용, 증거 기반 합성이라는 네 가지 공리를 만족합니다.
  • State-of-the-Art Performance: PaperBench(논문‑코드 재현)와 SurveyBench(장문 조사 작성)에서 기존 베이스라인을 능가합니다.
  • Proven Utility: ICML, FSE 등 최고 수준 학회에서 채택된 10편의 피어 리뷰 논문 작성을 지원했습니다.
  • Evidence‑Grounded Richness: 기존 베이스라인에 비해 생성된 조사에 포함되는 그림, 표, 실행 가능한 코드의 비중이 크게 증가했습니다.