NVIDIA/GenerativeAIExamples

Generative AI reference workflows optimized for accelerated infrastructure and microservice architecture.

What it solves

它提供了一套完整的起始範例與參考實作，協助開發者將 NVIDIA 的軟體生態系統整合到生成式 AI 系統中。特別針對建置可投入生產的 RAG 流程、代理工作流以及模型微調流程的複雜性，提供 NVIDIA 專屬基礎建設的解決方案。

How it works

此倉庫作為 Jupyter Notebook、範例程式碼與參考應用的目錄。它利用 NVIDIA NIM（NeMo Inference Microservices）與 NeMo 微服務平台，提供推論、評估與安全防護的模組化基礎建設。並與 LangChain、LlamaIndex、Haystack 等熱門框架整合，提供 GPU 加速的管線，支援知識圖譜建立與視覺相關工作流等任務。

Who it’s for

適合想使用 NVIDIA 硬體與軟體建置生成式 AI 應用的開發者與 AI 工程師，特別是想在 NVIDIA 生態系統內實作 RAG、代理 AI 或微調大型語言模型（LLM）的人。

Highlights

  • RAG Implementations：包含基礎與進階的 RAG 範例（多輪對話、多模態與結構化資料）以及評估與可觀測性工具。
  • Agentic Workflows：提供建構代理 RAG 流程與實作 LLM 工具呼叫功能的教學。
  • Data Flywheel：透過 NeMo 微服務的微調、推論與評估，實現模型持續改進的工作流。
  • Vision NIM Workflows：提供基於 VLM 的影片監控、使用 NV-CLIP 的多模態搜尋與文字抽取管線的參考應用。
  • Safety and Auditing：如 NeMo Auditor 與 NeMo Guardrails 等工具，用於偵測漏洞並確保 AI 行為安全。