NVIDIA/NeMo-Retriever

NeMo Retriever Library is a scalable, performance-oriented document content and metadata extraction microservice. NeMo Retriever Library uses specialized NVIDIA NIM microservices to find, contextualize, and extract text, tables, charts and images that you can use in downstream generative applications.

解决的问题

NeMo Retriever Library（也称为 NVIDIA Ingest）解决了为检索增强生成 (RAG) 应用程序准备复杂、非结构化文档（例如包含文本、表格、图表和信息图表的 PDF）的挑战。它自动执行这些文档元素的提取、分类和转换，将其转化为适合 AI 模型的结构化格式。

工作原理

该库提供了一个可扩展的流水线，通过将文档拆分为页面并对内容类型进行分类来处理文档。它使用 OCR 和专门的提取技术将这些元素转换为标准化的 JSON 模式。然后，流水线计算提取内容的嵌入并将其存储在向量数据库 (LanceDB) 中。该过程设计为惰性且可链式的，允许开发人员定义以批处理或进程内模式执行的摄取任务。

适用对象

该项目适用于构建企业级 RAG 流水线的开发人员和数据工程师，他们需要大规模摄取各种文档类型。对于已经在 NVIDIA AI 生态系统中工作的用户特别有用，因为它与 NVIDIA NIM 微服务集成，并支持通过 Helm 在 Kubernetes 上部署以用于生产工作负载。

亮点

  • 支持多模态提取，包括文本、表格、图表和信息图表。
  • 提供用于构建自定义摄取流水线的可链式、惰性加载 Python API。
  • 支持使用 Kubernetes 和 Helm charts 进行可扩展的生产部署。
  • 与 LanceDB 等向量数据库以及 LangChain 和 LlamaIndex 等流行框架无缝集成。

相关

  • 项目
    NVIDIA-NeMo/Megatron-Bridge

    NVIDIA-NeMo Megatron-Bridge 是一个 PyTorch 库，将 Hugging Face 模型与 NVIDIA 的 Megatron-Core 训练引擎连接起来。它支持双向检查点转换、大规模预训练和微调（包括 LoRA），并为许多最新的 LLM/VLM/MoE 模型提供了经过验证的配方。推荐的工作流程使用 NVIDIA 的 NeMo Docker 容器和简单的 Python API（AutoBridge）。

  • Dispatch
    NeoMME: 高效的多模态原生与多语言编码器

    Hugging Face 推出了 NeoMME，这是一个包含 260M 和 800M 参数的多模态编码器系列，通过使用单个双向 Transformer 从头开始处理文本和图像，优化了视觉文档检索。

  • 项目
    NVIDIA-NeMo/Gym

    NeMo Gym 是 NVIDIA 的开源库，用于在有状态环境（代码执行、工具调用、安全性等）中对 AI 代理进行可扩展的评估和训练。它提供模块化接口、现成基准测试中心、支持数千个并发运行，并可与任何 RL 框架集成。通过 `uv` 安装，配置模型（如 OpenAI），启动环境服务器，然后运行 `gym eval` CLI 来收集 rollout 和指标。

  • Dispatch
    领域特定嵌入微调与 NVIDIA Nemotron – 一天内完成

    NVIDIA 与 Hugging Face 发布了一个单 GPU、一天内完成的流水线，可在合成领域数据上微调 Llama‑Nemotron‑Embed‑1B‑v2 模型，实现超过 10% 的检索提升，且在真实企业数据集上提升最高达 26%。

  • 项目
    NVIDIA-NeMo/Guardrails

    NVIDIA NeMo Guardrails 是一个开源工具包，为基于 LLM 的对话应用添加可编程的安全和控制层。它使用可配置的护栏和类似 Python 的对话语言（Colang）来防止不想要的对话主题、检测越狱和注入攻击、对输出进行事实核查，并管理工具调用，同时与流行的 LLM 和 LangChain 集成。