opea-project/GenAIExamples

Generative AI Examples is a collection of GenAI examples such as ChatQnA, Copilot, which illustrate the pipeline capabilities of the Open Platform for Enterprise AI (OPEA) project.

What it solves

GenAIExamples は、開発者が多様なハードウェアプラットフォーム上で生成 AI アプリケーションを迅速にデプロイ、テスト、および拡張できるようにするための、マイクロサービスベースのリファレンス実装を提供します。一般的な企業向けユースケース向けに事前設定済みの例を提供することで、複雑な GenAI パイプラインの構築の摩擦を解消します。

How it works

このプロジェクトは、以下の 3 つのコアピラーに基づいたモジュール式アーキテクチャを使用しています：

  • GenAIComps: 特定のアプリケーションを構築するために使用されるマイクロサービスコンポーネントのライブラリ (LLMs, embedding models, rerankers など)。
  • GenAIInfra: Docker Compose または Kubernetes (Helm または GMC を使用) を介して、これらの例のコンテナ化とデプロイを管理するクラウドネイティブなスイート。
  • GenAIEval: さまざまなハードウェア構成において、スループット、レイテンシ、精度を追跡するためのパフォーマンス測定ツール。

Who it’s for

さまざまなハードウェア (Intel Xeon, Gaudi, AMD EPYC/Instinct, NVIDIA GPUs) に GenAI アプリケーションをデプロイし、そのパフォーマンスを比較する必要がある開発者や企業向け AI エンジニア。

Highlights

  • Multi-Hardware Support: Gaudi, Xeon, AMD EPYC, AMD Instinct, NVIDIA GPUs とのネイティブな互換性。
  • Diverse Use Cases: RAG-based ChatQnA, VisualQnA, Text-to-Image, Document Summarization, Code Generation 用の即時デプロイ可能な例が含まれています。
  • Cloud-Native Deployment: Python, Docker Compose, Kubernetes を介した柔軟なデプロイ。
  • Performance Benchmarking: さまざまなハードウェア構成において、サービスのパフォーマンスを比較するための統合された評価ツール。