run-llama/llama_index

해결하는 문제

LlamaIndex는 대규모 언어 모델(LLM)에 사내 데이터를 보강하기 위한 데이터 프레임워크입니다. LLM을 외부 데이터 소스에 연결하는 문제를 해결하여, 원래 학습 데이터에 포함되지 않은 특정한 사내 정보를 모델이 추론할 수 있도록 합니다.

작동 방식

이 프레임워크는 에이전트 애플리케이션과 RAG(Retrieval-Augmented Generation) 파이프라인을 구축하기 위한 오케스트레이션 도구를 제공합니다. 주요 구성 요소는 다음과 같습니다:

• 데이터 커넥터: API, PDF, SQL 데이터베이스, 문서 등 다양한 형식과 소스에서 데이터를 수집합니다.
• 데이터 구조화: 수집된 데이터를 인덱스나 그래프로 정리하여 LLM이 사용할 수 있는 형태로 만듭니다.
• 채용/쿼리 인터페이스: 사용자 프롬프트를 입력받아 검색된 컨텍스트를 기반으로 지식을 보강한 출력을 반환하는 고급 검색 인터페이스입니다.
• 통합 기능: LangChain, Flask, Docker 등의 외부 애플리케이션 프레임워크와 연동할 수 있습니다.

대상 사용자

초보자 사용자는 고수준 API를 몇 줄의 코드로 사용해 데이터를 수집하고 질의할 수 있으며, 고급 사용자는 리트리버, 재순위 모듈, 쿼리 엔진과 같은 저수준 모듈을 맞춤설정할 수 있습니다.

주요 특징

• 풍부한 통합 생태계: LlamaHub를 통해 LLM, 임베딩 모델, 벡터 스토어 등에 대한 300개 이상의 통합 패키지를 제공합니다.
• LlamaParse: 130가지 이상의 문서 형식에서 에이전트 기반 OCR 및 구조화된 데이터 추출을 전문으로 하는 플랫폼입니다.
• 유연한 아키텍처: 빠른 설정을 위한 "Starter" 패키지와 모듈식 빌드를 위한 "Customized" 코어 패키지를 제공합니다.
• 지속성: 인덱스를 디스크에 저장하여 효율적인 재로딩을 지원합니다.