VectifyAI/PageIndex

📑 PageIndex: Document Index for Vectorless, Reasoning-based RAG

해결하는 문제

벡터 기반 RAG는 의미론적 유사성에 의존하기 때문에 길고 복잡한 전문 문서에서 어려움을 겪는 경우가 많습니다. 유사성이 항상 관련성을 의미하지는 않기 때문입니다. PageIndex는 유사성 검색을 인간이 읽는 방식을 모방한 추론 기반 접근 방식으로 대체하여 이를 해결하며, 검색이 문맥을 인식하고 추적 가능하도록 보장합니다.

작동 원리

PageIndex는 벡터 데이터베이스와 청킹(chunking)을 사용하는 대신 계층적 트리 인덱스를 사용합니다. 이 과정은 크게 두 단계로 나뉩니다.

인덱싱: 각 문서에 대해 트리 구조 인덱스가 생성됩니다(레이아웃에서 추출되고 LLM에 의해 정제됨).
검색: LLM이 이 트리를 에이전트 방식으로 탐색하며, 유사한 텍스트 조각을 찾는 대신 추론을 통해 관련 정보에 도달합니다.

대상 사용자

재무 보고서, 법률 문서, 규제 서류, 기술 매뉴얼, 의학 문헌, 학술 교재 등 길고 복잡한 전문 문서를 다루는 사용자를 위해 설계되었습니다.

주요 특징

벡터리스 아키텍처: 벡터 데이터베이스와 텍스트 청킹이 필요 없습니다.
추론 기반 검색: 트리 인덱스에 대한 LLM 추론을 사용하여 관련 정보를 찾습니다.
추적 가능한 결과: 명시적인 참조를 제공하여 "느낌 기반 검색(vibe retrieval)"과 비교했을 때 검색 과정을 설명할 수 있습니다.
유연한 배포: 텍스트 기반 PDF를 위한 로컬 모드와 OCR, 이미지 이해, PageIndex 파일 시스템을 통한 코퍼스 수준 인덱싱을 지원하는 클라우드 버전을 모두 제공합니다.