ggozad/haiku.rag
Opinionated agentic RAG powered by LanceDB, Pydantic AI, and Docling
해결하는 문제
Haiku RAG는 문서에서 정보를 검색하기 위한 포괄적인 시스템을 제공하여 사용자가 데이터에 대해 질문을 하고 복잡한 분석을 수행할 수 있도록 합니다. 문서를 인덱싱하고 가장 관련 있는 텍스트 및 이미지 청크를 검색하며 원본 소스 자료에 대한 인용을 제공함으로써 LLM의 제한된 컨텍스트 창 문제를 해결합니다.
작동 방식
이 시스템은 벡터 검색과 전체 텍스트 검색(하이브리드 검색)을 Reciprocal Rank Fusion과 결합하여 관련 콘텐츠를 찾습니다. 문서 구조 인식을 위해 Docling과 로컬 우선 임베디드 저장소를 위해 LanceDB를 통합합니다. 고급 쿼리의 경우, 비전 기능이 있는 모델을 사용하여 문서에 포함된 이미지를 분석하고, 샌드박스 Python 환경을 사용하여 집계 및 계산과 같은 분석 작업을 위한 코드를 실행합니다.
대상
멀티모달 검색(텍스트 및 이미지), 로컬 우선 저장소 및 Model Context Protocol (MCP)를 통한 AI 어시스턴트 통합을 지원하는 프로덕션급 RAG 시스템이 필요한 개발자 및 연구자.
주요 특징
- 멀티모달 검색: 이미지 검색을 위한 텍스트 쿼리 및 검색을 위한 이미지 쿼리를 지원합니다.
- 에이전트 기능: 복잡한 분석 작업을 위한 샌드박스 Python 환경과 멀티턴 대화 메모리를 포함합니다.
- 프로덕션 인제스터: S3, HTTP 및 로컬 파일 시스템으로부터의 지속적인 인덱싱을 위한 영구 큐와 워커 풀을 갖춘 장기 실행 서비스입니다.
- 확장 가능한 프로바이더 지원: Ollama, OpenAI, vLLM을 포함한 다양한 임베딩 및 QA 프로바이더와 호환됩니다.
- 비주얼 그라운딩: 사용자가 검증을 위해 원본 페이지 이미지에서 하이라이트된 청크를 볼 수 있도록 합니다.