NVIDIA/NeMo-Retriever

해결하는 문제

NeMo Retriever는 텍스트, 표, 차트, 인포그래픽을 포함한 복잡한 문서(예: PDF)에서 구조화된 콘텐츠를 추출하는 문제를 해결하며, 검색 기반 생성(RAG) 및 기타 생성형 AI 애플리케이션에서 사용할 수 있도록 데이터를 준비합니다.

작동 방식

이 프레임워크는 문서를 페이지로 분할하고 아티팩트를 분류하는 확장 가능한 파이프라인을 구현합니다. 광학 문자 인식(OCR)과 다양한 모델을 사용하여 콘텐츠를 정의된 JSON 스키마로 추출합니다. 추출 후 라이브러리는 콘텐츠에 대한 임베딩을 계산하고, 효율적인 검색을 위해 LanceDB에 저장합니다. 이 파이프라인은 소규모 워크로드에는 배치 모드로 실행할 수 있으며, 생산 환경에서는 Kubernetes 위에 Helm을 통해 배포할 수 있습니다.

대상 사용자

대규모 다중 모달 문서 데이터(텍스트 및 시각 정보)를 처리해야 하는 기업용 RAG 애플리케이션을 개발하는 개발자 및 엔지니어를 위한 것입니다.

주요 특징

• 다중 모달 추출: 텍스트, 표, 차트, 인포그래픽을 특별히 처리합니다.
• 확장 가능한 배포: Kubernetes 및 Helm을 지원하여 생산 환경에 적합합니다.
• 유연한 통합: NVIDIA NIM 마이크로서비스, HuggingFace 모델, LlamaIndex 및 LangChain과 같은 검색 파이프라인과 호환됩니다.
• 구조화된 출력: 추출된 문서 요소를 명확히 정의된 JSON 스키마 또는 Markdown 형식으로 변환합니다.