Marker-Inc-Korea/AutoRAG

해결하는 문제

AutoRAG은 전통적인 검색 도구(파일 경로와 일치하는 줄 목록만 제공하는 도구)를 대체하기 위해 설계된 '도서관 사서 에이전트'입니다. 사용자가 파일을 수동으로 열고, 맥락을 읽고, 답변을 종합해야 하는 방식이 아니라, AutoRAG은 다양한 문서 컬렉션을 검색하고, 소스 자료를 직접 읽으며, 사용자가 즉시 행동할 수 있도록 구조화된 번호가 매겨진 지식 단위(답변) 목록을 구성합니다.

작동 방식

AutoRAG은 Pi 에이전트 루프 기반의 특수화된 검색 에이전트로, 단일 구성 모델을 사용하여 전체 검색, 읽기, 판단, 정리 루프를 관리합니다. 몇 가지 핵심 메커니즘을 활용합니다:

• 확장 가능한 검색: 정확한 패턴 매칭(grep), 의미 벡터 검색, 키워드 순위(BM25) 등 다양한 검색 전략을 지원하며, 종종 하이브리드 검색으로 결합합니다.
• 직접 파일 접근: 구성된 디렉터리에서 소스 자료를 직접 열고 읽기 위해 내장된 bash 도구를 사용합니다.
• 자기 진화하는 메모리: 모든 검색을 통해 학습하며, 특정 쿼리에 대해 가장 생산적인 검색 방법과 문서 영역을 추적하고, 사용자 피드백을 반영하여 시간이 지남에 따라 개선됩니다.
• 고급 PDF 처리: 희박하거나 다중 페이지 PDF에 대해 기본 파서를 사용하고, docling-fast 하이브리드 백엔드로 대체하여 높은 품질의 추출을 보장합니다.
• 데이터소스 기능: wacrawl, slacrawl, discrawl 등의 외부 CLI 도구를 통해 Slack, Discord, Notion, GitHub, Gmail, Obsidian 등 외부 데이터 소스와 통합하여 외부 커뮤니케이션 및 지식 기반을 동일한 검색 파이프라인에 포함시킬 수 있습니다.

대상 사용자

대규모이고 분산된 문서 컬렉션(PDF, 위키, 노트, 연구 논문)과 외부 커뮤니케이션 채널(채팅 앱, 이메일, 클라우드 드라이브)을 관리하고 있으며, 단순한 검색 결과 목록이 아니라 종합된 답변을 필요로 하는 사용자에게 적합합니다.

주요 기능

• 정제된 답변: 원시적인 파일 경로 대신 구조화된 지식 단위를 반환합니다.
• 자기 개선 기능: 사용을 통해 검색 전략과 생산적인 문서 영역을 학습합니다.
• 다중 모달 검색: 문서 유형에 따라 BM25, 벡터, 하이브리드 검색을 결합합니다.
• 광범위한 데이터소스 통합: KakaoTalk, WhatsApp, Telegram, Slack, Discord, Notion, GitHub, Gmail, rclone을 통한 클라우드 드라이브 등 다양한 플랫폼과 연결할 수 있습니다.
• 중복 관리: dupey와 통합하여 인덱싱 중 정확한 중복 문서를 탐지하고 제외합니다.
• 선택적 탐색: Jikji를 선택적으로 사용하여 먼저 탐색하고 인덱싱하는 계층을 추가할 수 있습니다.