opea-project/GenAIExamples

Generative AI Examples is a collection of GenAI examples such as ChatQnA, Copilot, which illustrate the pipeline capabilities of the Open Platform for Enterprise AI (OPEA) project.

What it solves

GenAIExamples 提供了一套基于微服务的参考实现，旨在帮助开发者快速在不同硬件平台上部署、测试与扩展生成式 AI 应用。通过提供针对常见企业级用例的预配置示例，它消除了设置复杂 GenAI 流水线的摩擦力。

How it works

该项目使用基于三个核心支柱的模块化架构：

  • GenAIComps: 一个微服务组件库（例如 LLMs, embedding models, 和 rerankers），用于构建特定的应用。

  • GenAIInfra: 一个云原生套件，通过 Docker Compose 或 Kubernetes (使用 Helm 或 GMC) 处理这些示例的容器化与部署。

  • GenAIEval: 一个性能测量工具，用于跟踪不同硬件配置下的吞吐量、延迟与准确性。

Who it’s for

需要将 GenAI 应用部署在各种硬件（包括 Intel Xeon, Gaudi, AMD EPYC/Instinct, 和 NVIDIA GPUs）上并比较其性能的开发者与企业级 AI 工程师。

Highlights

  • Multi-Hardware Support: 原生支持 Gaudi, Xeon, AMD EPYC, AMD Instinct, 和 NVIDIA GPUs。
  • Diverse Use Cases: 包含用于 RAG-based ChatQnA, VisualQnA, Text-to-Image, Document Summarization, 和 Code Generation 的即插即用示例。
  • Cloud-Native Deployment: 支持通过 Python, Docker Compose, 和 Kubernetes 进行灵活部署。
  • Performance Benchmarking: 集成了用于比较不同服务在不同硬件设置下的性能评估工具。