VectifyAI/PageIndex

📑 PageIndex: Document Index for Vectorless, Reasoning-based RAG

What it solves

PageIndex는 전통적인 벡터 기반 Retrieval-Augmented Generation (RAG)에서 발견되는 정확성 및 설명 가능성 문제를 해결합니다. 질문과 유사한 단어는 포함되어 있지만 질문과 무관한 결과를 반환하는 의미론적 유사성(semantic similarity)에 의존하는 대신, PageIndex는 긴 전문 문서를 위한 추론 기반 검색을 통해 진정한 관련성을 확보합니다.

How it works

PageIndex는 벡터 데이터베이스와 인위적인 청킹(chunking)을 대신하여 계층적 트리 인덱스를 사용합니다. 프로세스는 크게 두 단계로 이루어집니다:

  1. Tree Index Generation: 긴 문서(PDF 또는 Markdown 파일 등)를 의미론적인 "Table-of-Contents" 트리 구조로 변환하여, 내용을 임의의 조각으로 나누는 대신 자연스러운 섹션으로 구성합니다.

  2. Reasoning-based Retrieval: LLM을 사용하여 에이전트 방식의 트리 검색을 수행하며, 이는 전문가가 특정 정보를 찾기 위해 문서를 탐색하는 방식을 시뮬레이션합니다. 이를 통해 검색 프로세스가 추적 가능하며 명확한 페이지 및 섹션 참조를 기반으로 합니다.

Who it’s for

금융 보고서, 법률 문서, 규제 문서, 기술 매뉴얼, 학술 교과서와 같이 복잡하고 긴 전문 문서를 다루는 사용자를 위해 설계되었습니다.

Highlights

  • Vectorless Architecture: 벡터 데이터베이스의 필요성과 청킹 전략의 복잡성을 제거합니다.
  • High Accuracy: 금융 문서 QA 벤치마크인 FinanceBench에서 98.7%의 정확도를 달성했습니다.
  • Traceable Results: 모든 검색은 추론에 의해 구동되며 특정 문서 참조를 기반으로 하므로 "vibe retrieval"을 피할 수 있습니다.
  • Context-Aware: 검색은 대화 기록과 도메인 지식을 바탕으로 적응합니다.
  • Flexible Deployment: 셀프 호스팅 오픈소스 도구, API/MCP를 통한 클라우드 서비스, 또는 엔터프라이즈 배포가 가능합니다.