NVIDIA/NeMo-Retriever

何を解決するか

NeMo Retriever は、テキスト、表、チャート、インフォグラフィックを含む複雑なドキュメント（例：PDF）から構造化されたコンテンツを抽出する課題を解決し、検索拡張生成（RAG）やその他の生成AIアプリケーションでの利用に向けたデータ準備を実現します。

動作方法

このフレームワークは、ドキュメントをページに分割し、アーティファクトを分類するスケーラブルなパイプラインを実装しています。光学的文字認識（OCR）とさまざまなモデルを使用して、コンテンツを定義されたJSONスキーマに抽出します。抽出後、ライブラリはコンテンツの埋め込みを計算し、効率的な検索を可能にするために LanceDB に保存します。このパイプラインは、小規模なワークロードにはバッチモードで実行でき、生産環境向けには Kubernetes 上で Helm を使ってデプロイ可能です。

対象ユーザー

大規模なマルチモーダルドキュメントデータ（テキストと画像）を処理する必要がある、企業向け RAG アプリケーションを開発する開発者やエンジニア向けに設計されています。

主な特徴

• マルチモーダル抽出: テキスト、表、チャート、インフォグラフィックを特に扱います。
• スケーラブルなデプロイ: Kubernetes と Helm をサポートし、本番環境に適しています。
• 柔軟な統合: NVIDIA NIM マイクロサービス、HuggingFace モデル、LlamaIndex や LangChain などの検索パイプラインと互換性があります。
• 構造化出力: 抽出されたドキュメント要素を明確に定義された JSON スキーマまたは Markdown 形式に変換します。