NVIDIA/GenerativeAIExamples

Generative AI reference workflows optimized for accelerated infrastructure and microservice architecture.

What it solves

它提供了一套完整的起始点和参考实现，帮助开发者将 NVIDIA 的软件生态系统集成到生成式 AI 系统中。特别针对构建可投入生产的 RAG 流水线、代理工作流以及模型微调过程的复杂性，提供 NVIDIA 专用基础设施的解决方案。

How it works

该仓库作为 Jupyter Notebook、示例代码和参考应用的目录。它利用 NVIDIA NIM（NeMo Inference Microservices）和 NeMo 微服务平台，提供推理、评估和安全防护的模块化基础设施。并与 LangChain、LlamaIndex、Haystack 等流行框架集成，提供 GPU 加速的流水线，支持知识图谱创建和视觉相关工作流等任务。

Who it’s for

适用于想使用 NVIDIA 硬件和软件构建生成式 AI 应用的开发者和 AI 工程师，尤其是希望在 NVIDIA 生态系统中实现 RAG、代理 AI 或微调大型语言模型（LLM）的人。

Highlights

  • RAG Implementations：包括基础和高级的 RAG 示例（多轮对话、多模态和结构化数据）以及评估和可观测性工具。
  • Agentic Workflows：提供构建代理 RAG 流水线和实现 LLM 工具调用功能的教程。
  • Data Flywheel：通过 NeMo 微服务的微调、推理和评估，实现模型持续改进的工作流。
  • Vision NIM Workflows：提供基于 VLM 的视频监控、使用 NV-CLIP 的多模态搜索和文本抽取管线的参考应用。
  • Safety and Auditing：如 NeMo Auditor 和 NeMo Guardrails 等工具，用于识别漏洞并确保 AI 行为安全。