opea-project/GenAIExamples

Generative AI Examples is a collection of GenAI examples such as ChatQnA, Copilot, which illustrate the pipeline capabilities of the Open Platform for Enterprise AI (OPEA) project.

What it solves

GenAIExamples는 개발자가 다양한 하드웨어 플랫폼에서 생성형 AI 애플리케이션을 신속하게 배포, 테스트 및 확장할 수 있도록 마이크로서비스 기반의 참조 구현체를 제공합니다. 일반적인 기업용 유스케이스를 위한 사전 구성된 예제를 제공함으로써 복잡한 GenAI 파이프라인 구축의 번거로움을 제거합니다.

How it works

이 프로젝트는 세 가지 핵심 축을 기반으로 하는 모듈식 아키텍처를 사용합니다:

  • GenAIComps: 특정 애플리케이션을 구축하는 데 사용되는 마이크로서비스 컴포넌트 라이브러리 (LLMs, embedding models, rerankers 등).
  • GenAIInfra: Docker Compose 또는 Kubernetes (Helm 또는 GMC 사용)를를 통해 이러한 예제의 컨테이너화 및 배포를 처리하는 클라우드 네이티브 스위트.
  • GenAIEval: 다양한 하드웨어 구성에서 처리량, 지연 시간, 정확도를 추적하는 성능 측정 도구.

Who it’s for

다양한 하드웨어 (Intel Xeon, Gaudi, AMD EPYC/Instinct, NVIDIA GPUs 포함)에 GenAI 애플리케이션을 배포하고 성능을 비교해야 하는 개발자 및 기업용 AI 엔지니어.

Highlights

  • Multi-Hardware Support: Gaudi, Xeon, AMD EPYC, AMD Instinct, NVIDIA GPUs와 네이티브 호환성을 지원합니다.
  • Diverse Use Cases: RAG-based ChatQnA, VisualQnA, Text-to-Image, Document Summarization, Code Generation을 위한 즉시 배포 가능한 예제를 포함합니다.
  • Cloud-Native Deployment: Python, Docker Compose, Kubernetes를 통한 유연한 배포를 지원합니다.
  • Performance Benchmarking: 다양한 하드웨어 설정에서 서비스 성능을 비교하기 위한 통합된 평가 도구.