NVIDIA/NeMo-Retriever

解決的問題

NeMo Retriever 解決了從包含文字、表格、圖表和資訊圖的複雜文件（例如 PDF）中提取結構化內容的挑戰，並為檢索增強生成（RAG）及其他生成式 AI 應用準備資料。

工作原理

此框架實作一個可擴展的流程，將文件拆分為頁面並分類各類元件。它使用光學字元辨識（OCR）與多種模型，將內容提取為定義良好的 JSON 模式。提取後，該程式庫會計算內容的嵌入向量，並儲存在 LanceDB 中以實現高效檢索。此流程可於批次模式下執行以處理小規模工作負載，亦可透過 Helm 部署於 Kubernetes 上，以達成生產級的可擴展性。

適用對象

專為需要大規模處理多模態文件資料（文字與視覺內容）之企業級 RAG 應用開發人員與工程師設計。

主要亮點

• 多模態提取：專門處理文字、表格、圖表與資訊圖。
• 可擴展部署：支援 Kubernetes 與 Helm，適用於生產環境。
• 靈活整合：相容 NVIDIA NIM 微服務、HuggingFace 模型，以及 LlamaIndex 與 LangChain 等檢索流程。
• 結構化輸出：將提取的文件元件轉換為明確定義的 JSON 模式或 Markdown 格式。