NVIDIA/NeMo-Retriever

解决的问题

NeMo Retriever 解决了从包含文本、表格、图表和信息图的复杂文档（如 PDF）中提取结构化内容的挑战，并为检索增强生成（RAG）及其他生成式 AI 应用准备数据。

工作原理

该框架实现了一个可扩展的流水线，将文档拆分为页面并分类各类元素。它使用光学字符识别（OCR）和多种模型，将内容提取为定义好的 JSON 模式。提取完成后，该库会计算内容的嵌入向量，并将其存储在 LanceDB 中以实现高效检索。该流水线可批量运行以处理小规模工作负载，也可通过 Helm 部署在 Kubernetes 上以实现生产级别的可扩展性。

适用人群

专为需要大规模处理多模态文档数据（文本和视觉内容）的企业级 RAG 应用开发人员和工程师设计。

主要亮点

• 多模态提取：专门处理文本、表格、图表和信息图。
• 可扩展部署：支持 Kubernetes 和 Helm，适用于生产环境。
• 灵活集成：兼容 NVIDIA NIM 微服务、HuggingFace 模型，以及 LlamaIndex 和 LangChain 等检索流水线。
• 结构化输出：将提取的文档元素转换为明确定义的 JSON 模式或 Markdown 格式。