NVIDIA/NeMo-Retriever

NeMo Retriever Library is a scalable, performance-oriented document content and metadata extraction microservice. NeMo Retriever Library uses specialized NVIDIA NIM microservices to find, contextualize, and extract text, tables, charts and images that you can use in downstream generative applications.

해결 과제

NeMo Retriever Library(NVIDIA Ingest라고도 함)는 텍스트, 표, 차트, 인포그래픽이 포함된 PDF와 같은 복잡한 비정형 문서를 검색 증강 생성(RAG) 애플리케이션에서 사용할 수 있도록 준비하는 문제를 해결합니다. 이 라이브러리는 이러한 문서 요소의 추출, 분류 및 AI 모델에 적합한 구조화된 형식으로의 변환을 자동화합니다.

작동 방식

이 라이브러리는 문서를 페이지 단위로 분할하고 콘텐츠 유형을 분류하여 처리하는 확장 가능한 파이프라인을 제공합니다. OCR 및 전문 추출 기술을 사용하여 이러한 요소를 표준화된 JSON 스키마로 변환합니다. 그런 다음 파이프라인은 추출된 콘텐츠에 대한 임베딩을 계산하고 이를 벡터 데이터베이스(LanceDB)에 저장합니다. 이 프로세스는 지연 평가(lazy) 및 체인 연결이 가능하도록 설계되어 있어, 개발자가 배치 모드 또는 인프로세스 모드로 실행되는 수집 작업을 정의할 수 있습니다.

대상 사용자

이 프로젝트는 다양한 문서 유형을 대규모로 수집해야 하는 엔터프라이즈급 RAG 파이프라인을 구축하는 개발자와 데이터 엔지니어를 위한 것입니다. NVIDIA NIM 마이크로서비스와 통합되어 있고 프로덕션 워크로드를 위해 Helm을 통한 Kubernetes 배포를 지원하므로, 이미 NVIDIA AI 생태계 내에서 작업 중인 사용자에게 특히 유용합니다.

주요 특징

  • 텍스트, 표, 차트, 인포그래픽을 포함한 멀티모달 추출 지원.
  • 사용자 지정 수집 파이프라인 구축을 위한 체인 연결 가능하고 지연 로딩을 지원하는 Python API 제공.
  • Kubernetes 및 Helm charts를 사용한 확장 가능한 프로덕션 배포 지원.
  • LanceDB와 같은 벡터 데이터베이스 및 LangChain, LlamaIndex와 같은 인기 있는 프레임워크와 원활하게 통합.

관련

  • 프로젝트
    NVIDIA-NeMo/Megatron-Bridge

    NVIDIA-NeMo Megatron-Bridge는 Hugging Face 모델과 NVIDIA의 Megatron-Core 훈련 엔진을 연결하는 PyTorch 라이브러리입니다. 양방향 체크포인트 변환, 대규모 사전 훈련 및 미세 조정(LoRA 포함)을 지원하며, 최근 많은 LLM/VLM/MoE 모델에 대한 검증된 레시피를 제공합니다. 권장 워크플로는 NVIDIA의 NeMo Docker 컨테이너와 간단한 Python API(AutoBridge)를 사용합니다.

  • Dispatch
    NeoMME: 효율적인 멀티모달 네이티브 및 다국어 인코더

    Hugging Face는 텍스트와 이미지를 처음부터 처리하기 위해 단일 양방향 Transformer를 사용하는 멀티모달 인코더 제품군(260M 및 800M 파라미터)인 NeoMME를 소개했습니다. 이는 시각적 문서 검색을 최적화합니다.

  • 프로젝트
    NVIDIA-NeMo/Gym

    NeMo Gym은 상태 저장 환경(코드 실행, 도구 호출, 안전성 등)에서 AI 에이전트를 확장 가능하게 평가하고 훈련하기 위한 NVIDIA의 오픈 소스 라이브러리입니다. 모듈식 인터페이스, 기성 벤치마크 허브, 수천 개의 동시 실행 지원, 모든 RL 프레임워크와의 통합을 제공합니다. `uv`로 설치하고, 모델(예: OpenAI)을 구성하고, 환경 서버를 시작한 다음 `gym eval` CLI를 실행하여 롤아웃과 메트릭을 수집합니다.

  • Dispatch
    NVIDIA Nemotron을 활용한 도메인 특화 임베딩 파인튜닝 – 하루 안에

    NVIDIA와 Hugging Face는 단일 GPU, 하루 안에 완료되는 파이프라인을 공개했으며, Llama‑Nemotron‑Embed‑1B‑v2 모델을 합성 도메인 데이터로 파인튜닝하여 10% 이상의 검색 성능 향상과 실제 기업 데이터셋에서 최대 26% 개선을 달성했습니다.

  • 프로젝트
    NVIDIA-NeMo/Guardrails

    NVIDIA NeMo Guardrails는 LLM 기반 대화형 애플리케이션에 프로그래밍 가능한 안전 및 제어 계층을 추가하는 오픈소스 툴킷입니다. 구성 가능한 레일과 Python 유사 대화 언어(Colang)를 사용하여 원치 않는 주제를 방지하고, 탈옥 및 주입을 탐지하며, 출력을 사실 확인하고, 도구 호출을 관리하며, 인기 있는 LLM 및 LangChain과 통합됩니다.