NVIDIA/NeMo-Retriever

NeMo Retriever Library is a scalable, performance-oriented document content and metadata extraction microservice. NeMo Retriever Library uses specialized NVIDIA NIM microservices to find, contextualize, and extract text, tables, charts and images that you can use in downstream generative applications.

解決する課題

NeMo Retriever Library (別名 NVIDIA Ingest) は、テキスト、表、グラフ、インフォグラフィックを含む PDF などの複雑で非構造化なドキュメントを、検索拡張生成 (RAG) アプリケーションで使用するために準備するという課題を解決します。これらのドキュメント要素の抽出、分類、および AI モデルに適した構造化フォーマットへの変換を自動化します。

仕組み

このライブラリは、ドキュメントをページ単位に分割し、コンテンツタイプを分類することで処理を行うスケーラブルなパイプラインを提供します。OCR および専門的な抽出技術を使用して、これらの要素を標準化された JSON スキーマに変換します。その後、パイプラインは抽出されたコンテンツの埋め込みを計算し、ベクトルデータベース (LanceDB) に保存します。このプロセスは遅延評価およびチェーン可能に設計されており、開発者はバッチモードまたはインプロセスモードで実行される取り込みタスクを定義できます。

対象ユーザー

このプロジェクトは、多様なドキュメントタイプを大規模に取り込む必要がある、エンタープライズグレードの RAG パイプラインを構築する開発者およびデータエンジニア向けです。NVIDIA NIM マイクロサービスと統合されており、本番環境向けに Helm を使用した Kubernetes へのデプロイをサポートしているため、すでに NVIDIA AI エコシステム内で作業しているユーザーには特に有用です。

ハイライト

  • テキスト、表、グラフ、インフォグラフィックを含むマルチモーダル抽出をサポート。
  • カスタム取り込みパイプラインを構築するための、チェーン可能で遅延読み込みが可能な Python API を提供。
  • Kubernetes と Helm charts を使用したスケーラブルな本番デプロイを実現。
  • LanceDB などのベクトルデータベースや、LangChain や LlamaIndex といった一般的なフレームワークとシームレスに統合。

関連

  • プロジェクト
    NVIDIA-NeMo/Megatron-Bridge

    NVIDIA-NeMo Megatron-Bridge は、Hugging Face モデルと NVIDIA の Megatron-Core トレーニングエンジンを結び付ける PyTorch ライブラリです。双方向のチェックポイント変換、大規模な事前学習とファインチューニング（LoRA を含む）を可能にし、最近の多くの LLM/VLM/MoE モデル向けの検証済みレシピを提供します。推奨されるワークフローは、NVIDIA の NeMo Docker コンテナとシンプルな Python API（AutoBridge）を使用します。

  • Dispatch
    NeoMME: 効率的なマルチモーダルネイティブかつ多言語対応エンコーダー

    Hugging Faceは、テキストと画像をゼロから処理するために単一の双方向Transformerを使用するマルチモーダル・エンコーダー・ファミリー（260Mおよび800Mパラメータ）であるNeoMMEを発表しました。これにより、視覚的ドキュメント検索が最適化されます。

  • プロジェクト
    NVIDIA-NeMo/Gym

    NeMo Gymは、ステートフル環境（コード実行、ツール呼び出し、安全性など）におけるAIエージェントのスケーラブルな評価と訓練のためのNVIDIAのオープンソースライブラリです。モジュール式インターフェース、既製ベンチマークのハブ、数千の並行実行のサポート、任意のRLフレームワークとの統合を提供します。`uv`でインストールし、モデル（例: OpenAI）を設定し、環境サーバーを起動し、`gym eval` CLIを実行してロールアウトとメトリクスを収集します。

  • Dispatch
    NVIDIA Nemotronによるドメイン固有埋め込みのファインチューニング – 1日以内

    NVIDIA と Hugging Face は、単一 GPU で 1 日以内に完了するパイプラインを公開し、合成ドメインデータ上で Llama‑Nemotron‑Embed‑1B‑v2 モデルをファインチューニングし、検索精度を 10% 超向上させ、実際のエンタープライズデータセットでは最大 26% の改善を実現しました。

  • プロジェクト
    NVIDIA-NeMo/Guardrails

    NVIDIA NeMo Guardrails は、LLM ベースの会話型アプリケーションにプログラム可能な安全性と制御レイヤーを追加するオープンソースツールキットです。設定可能なレールと Python に似た対話言語（Colang）を使用して、不要なトピックを防ぎ、脱獄やインジェクションを検出し、出力のファクトチェックを行い、ツール呼び出しを管理します。また、一般的な LLM や LangChain と統合できます。