HKUDS/LightRAG

해결하는 문제

LightRAG은 Microsoft GraphRAG보다 더 효율적인 대안이 되도록 설계된 가벼운 그래프 기반 Retrieval-Augmented Generation (RAG) 프레임워크입니다. 대규모 그래프 인덱싱 및 검색에서 발생하는 높은 계산 부하, 느린 응답 시간, 높은 비용 문제를 해결하며, 전통적인 청크 기반 벡터 RAG의 분절된 컨텍스트 제한을 극복합니다.

작동 방식

LightRAG은 지식 그래프(KG)와 벡터 임베딩을 모두 관리하는 이중 레이어 아키텍처를 사용합니다. 이는 시스템이 세부 사실과 추상 개념을 동시에 통합하여 이중 수준의 검색을 수행할 수 있게 합니다. 복잡한 쿼리에 대해 비효율적인 다단계 추론이나 커뮤니티 보고서를 사용하지 않아 LLM 호출 횟수를 줄이고 지연 시간을 낮춥니다. 데이터 인게스션을 위해 MinerU, Docling, Native 등의 여러 파싱 엔진과 고정, 재귀, 벡터, 문단 의미 기반의 네 가지 청킹 전략을 지원하여 문서 구조를 유지합니다.

대상 사용자

법률 또는 금융과 같은 수직 분야에서 고품질 RAG가 필요한 개발자 및 조직을 대상으로 하며, 대규모 데이터셋에서 복잡한 다문서 쿼리를 처리하고 전반적인 이해 및 논리적 추론이 가능한 시스템을 필요로 합니다.

주요 특징

• 이중 레이어 아키텍처: 지식 그래프와 벡터 임베딩을 결합하여 포괄적이고 다양한 검색을 제공합니다.
• 효율적인 업데이트: 증분 업데이트 및 선택적 문서 삭제를 지원하며, 자동으로 KG 재생성 기능을 제공합니다.
• 다중 모달 지원: 이미지, 수식, 표와 같은 다중 모달 처리를 통합하여 지식 그래프를 통해 본문 텍스트와 연결합니다.
• 유연한 저장소: PostgreSQL, MongoDB, Neo4J, OpenSearch와 같은 다양한 프로덕션 준비된 백엔드를 지원합니다.
• 고급 파싱: Word 문서의 섹션 제목을 수정하고 청크 경계를 의미적 경계와 일치시키는 내장 엔진을 포함합니다.