microsoft/genaiops-promptflow-template

GenAIOps with Prompt Flow is a "GenAIOps template and guidance" to help you build LLM-infused apps using Prompt Flow. It offers a range of features including Centralized Code Hosting, Lifecycle Management, Variant and Hyperparameter Experimentation, A/B Deployment, reporting for all runs and experiments and so on.

What it solves

このプロジェクトは、Prompt flow を使用した LLMOps（Large Language Model Operations）実装のための標準化されたテンプレートとガイダンスを提供します。ローカルでの実験やプロンプトエンジニアリングから本番デプロイやモニタリングまで、LLM を組み込んだアプリケーションのエンドツーエンドライフサイクル管理の難しさを解決します。特に、複数のフローを同時に扱い、各フローが固有の要件を持つ場合に有効です。

How it works

テンプレートは、Prompt flow ワークフローの開発・評価・デプロイのための構造化フレームワークを構築します。YAML（DAG）ベース、Python 関数ベース、Python クラスベースの 3 種類のフローをサポートします。ローカル実行、Azure AI Studio、Azure Machine Learning をサポートし、環境間の遷移を自動化します。システムは GitHub Actions、Azure DevOps、Jenkins などの CI/CD ツールと統合し、外部ループのデプロイプロセスをオーケストレーションします。また、バリアントやハイパーパラメータのテスト、詳細なメトリクスレポートなど、内部ループの実験ツールも提供します。

Who it’s for

LLM を組み込んだアプリケーションを構築するエンジニア、データサイエンティスト、開発者向けです。プロンプトエンジニアリングと運用化を体系的かつスケーラブルに行いたい方に最適です。

Highlights

Multi-Flow Management: 1 つのリポジトリで複数フローを集中管理し、各フローが独立したライフサイクルを持ちます。
C’D Integration: GitHub、Azure DevOps、Jenkins への組み込みサポートとオーケストレーション。
Flexible Deployment: フローを Kubernetes、Azure Web Apps、AzureML/AI Studio 管理コンピュートへデプロイ可能。A/B デプロイ機能も備えています。
Experimentation Tools: バリアントとハイパーパラメータの実験をサポートし、HTML/CSV 形式の包括的レポートを提供。
DataOps Integration: 実験・評価用データセットの準備を徹底するため、別個のデータパイプラインを用意。
Hybrid Execution: 設定に応じてローカルまたは Azure クラウド上でフローを実行できます。