HKUDS/LightRAG

LightRAG – 경량 그래프 기반 검색 증강 생성 프레임워크

개요

• 오픈소스 Python 라이브러리로, 벡터 임베딩과 지식 그래프 인덱스를 결합하여 검색 증강 생성(RAG)을 지원합니다. Microsoft GraphRAG와 같은 고비용 솔루션보다 빠르고 저렴한 대안을 목표로 하며, 대규모 말뭉치와 멀티모달 문서를 처리할 수 있습니다.

핵심 아이디어

• 이중 계층 아키텍처 – 원본 청크를 위한 KV 저장소, 유사도 검색을 위한 벡터 저장소, 엔티티/관계 링크를 위한 그래프 저장소로 구성됩니다.
• 증분 업데이트 – 전체 인덱스를 재구축하지 않고 문서를 추가하거나 삭제할 수 있습니다. 시스템은 LLM 생성 캐시를 재사용하여 영향을 받는 그래프 노드를 빠르게 재구축합니다.
• 다중 청크 전략 – 고정, 재귀, 벡터 의미론, 문단 의미론 방식이 있으며, 후자는 자연스러운 제목, 표, 수식에 맞춰 청크를 정렬합니다.
• 플러그형 파서 – 네이티브 파서, MinerU, Docling 등을 지원하여 텍스트, 이미지, 표, 방정식을 추출할 수 있습니다.
• 멀티모달 지원 – 통합된 RAG-Anything 구성 요소를 통해 이미지와 수식이 그래프에 연결되어 LLM이 생성 중에 참조할 수 있습니다.

주요 기능

• 장거리 의미 종속성을 포착하는 그래프 기반 검색(법률, 금융, 기술 문서에 유용).
• 문서 구조를 존중하는 문단 모드를 포함한 4가지 선택 가능한 청크 모드.
• 내장 리랭커 및 선택적 인용 생성.
• 다양한 저장 백엔드 지원: 인메모리(기본), PostgreSQL, Neo4j, Milvus, OpenSearch, MongoDB 등.
• REST API와 문서 업로드, 쿼리, 지식 그래프 시각화를 위한 웹 UI를 제공하는 서버 구성 요소(lightrag-server).
• Docker Compose 또는 uv 패키지 관리자를 통한 간편한 오프라인 배포. 즉시 실행 가능한 .env 및 compose 파일을 생성하는 설정 마법사 포함.
• 선택적 확장 기능: Word 파일의 스마트 제목 감지를 위한 spaCy 모델, SVG 래스터화를 위한 Cairo, RAGAS 평가, Langfuse 추적.

일반적인 워크플로우

1. 구성 – .env 파일에서 LLM, 임베딩 모델, 선택적 리랭커를 설정합니다(또는 make env-base 실행).
2. 수집 – lightrag-server로 문서를 수집합니다. 파서가 텍스트와 멀티모달 요소를 추출하고, 임베딩을 생성하며, KG를 구축하고 모든 것을 선택한 백엔드에 저장합니다.
3. 쿼리 – 웹 UI 또는 REST 엔드포인트를 통해 쿼리합니다. LightRAG는 이중 수준 검색(그래프 + 벡터)을 수행하고, 선택적으로 결과를 리랭킹한 후 LLM에 컨텍스트를 전달하여 생성합니다.
4. 유지 관리 – 새 파일을 추가하거나 오래된 파일을 삭제합니다. 시스템은 그래프를 증분 방식으로 업데이트합니다.

설치 하이라이트

• 권장 패키지 관리자: uv (curl -LsSf https://astral.sh/uv/install.sh | sh).
• 서버 설치: uv tool install "lightrag-hku[api]" 또는 pip 사용.
• 프로덕션의 경우 env.example을 .env로 복사하고 모델 엔드포인트를 입력한 후 Docker Compose 스택(docker compose up)을 실행합니다.
• 오프라인 배포 지원: docs/OfflineDeployment.md 참조.

생태계 및 커뮤니티

• PyPI 패키지: lightrag-hku
• 지원을 위한 Discord 및 WeChat 그룹.
• 동일 저자의 관련 프로젝트: RAG-Anything(멀티모달 수집), VideoRAG, MiniRAG.
• arXiv 학술 논문(2410.05779) 및 LearnOpenCV 튜토리얼.

사용 대상

• 대규모 구조화 말뭉치와 멀티모달 콘텐츠를 처리할 수 있는 맞춤형 RAG 파이프라인이 필요한 팀.
• 그래프 기반 검색을 탐구하거나 RAGAS와 같은 지표로 RAG 품질을 평가하는 연구자.
• Python 중심 스택, 유연한 저장 옵션, 즉시 사용 가능한 API/웹 UI를 선호하는 개발자.

---

모든 정보는 저장소의 README에서 직접 가져왔으며, 추가 주장은 없습니다.