opea-project/GenAIExamples

Generative AI Examples is a collection of GenAI examples such as ChatQnA, Copilot, which illustrate the pipeline capabilities of the Open Platform for Enterprise AI (OPEA) project.

What it solves

GenAIExamples 提供了一套基於微服務的參考實作，旨在幫助開發者快速在不同硬體平台上部署、測試與擴展生成式 AI 應用程式。透過提供針對常見企業級用例的預配置範例，它消除了設置複雜 GenAI 流水線的摩擦力。

How it works

該專案採用基於三個核心支柱的模組化架構：

  • GenAIComps: 一個微服務組件庫，包含 LLMs、embedding models 與 rerankers 等，用於構建特定應用程式。
  • GenAIInfra: 一個雲端原生套件，透過 Docker Compose 或 Kubernetes (使用 Helm 或 GMC) 處理這些範例的容器化與部署。
  • GenAIEval: 一個效能測量工具，用於追蹤不同硬體配置下的吞吐量、延遲與準確度。

Who it’s for

需要將 GenAI 應用程式部署在各種硬體（包括 Intel Xeon, Gaudi, AMD EPYC/Instinct, 與 NVIDIA GPUs）上並比較其效能的開發者與企業級 AI 工程師。

Highlights

  • Multi-Hardware Support: 原生支持 Gaudi, Xeon, AMD EPYC, AMD Instinct, 與 NVIDIA GPUs。
  • Diverse Use Cases: 包含用於 RAG-based ChatQnA, VisualQnA, Text-to-Image, Document Summarization, 與 Code Generation 的即插即用範例。
  • Cloud-Native Deployment: 支持透過 Python, Docker Compose, 與 Kubernetes 進行靈活部署。
  • Performance Benchmarking: 集成了用於比較不同硬體設置下服務效能的評估工具。