LightRAG: 무엇인지, 어떤 문제를 해결하며, 왜 인기를 얻고 있는지

해결하는 문제

LightRAG는 기존의 청크 기반 RAG (Retrieval-Augmented Generation)의 한계와 그래프 기반 RAG의 높은 계산 비용 문제를 극복하기 위해 설계되었습니다. 엔티티 간의 복잡한 의미론적 의존성을 포착함으로써 파편화된 컨텍스트 문제를 해결하며, 이는 전역적 이해와 논리적 추론이 필요한 법률 또는 금융 서비스와 같은 수직적 도메인에서 특히 유용합니다.

작동 방식

LightRAG는 지식 그래프 (KGs)와 벡터 임베딩을 모두 관리하는 이중 레이어 아키텍처를 사용합니다. 상세한 사실과 추상적인 개념을 동시에 통합하기 위해 이중 레벨 검색 메커니즘을 채택합니다. 일부 그래프 기반 시스템과 달리, 비용이 많이 드는 커뮤니티 리포트나 멀티홉 추론을 피하고, 대신 지식 베이스의 점진적 업데이트를 위해 세트 병합 프로세스를 사용합니다. 또한 MinerU 또는 Docling을 통해 멀도달(multimodal) 문서 파싱을 지원하여 텍스트, 표, 수식, 이미지를 추출하고 인덱싱합니다.

대상 사용자

높은 확장성, 낮은 지연 시간, 그리고 복잡한 교차 문서 쿼리 또는 빈번한 업데이트가 필요한 동적 데이터를 처리할 수 있는 능력이 필요한 RAG 시스템을 구축하는 개발자와 조직을 대상으로 합니다.

주요 특징

• Dual-Layer Retrieval: 로컬 (특정 엔티티), 글로벌 (거시적 테마), 그리고 네이티브 (벡터 유사도) 검색 모드를 결합합니다.
• Incremental Updates: 전체 글로벌 인덱스를 재구축하지 않고도 문서의 원활한 추가 및 삭제를 지원합니다.
• Multimodal Support: PDF, 이미지, Office 문서를 포함한 다양한 형식을 파싱하고 인덱싱할 수 있습니다.
• Flexible Storage: MongoDB, PostgreSQL, Neo4J, OpenSearch와 같은 다양한 백엔드와 통합됩니다.
• Role-Specific LLM Config: 추출, 쿼리, 키워드 생성과 같은 서로 다른 작업에 대해 독립적인 LLM 설정을 허용합니다.