microsoft/genaiops-promptflow-template

GenAIOps with Prompt Flow is a "GenAIOps template and guidance" to help you build LLM-infused apps using Prompt Flow. It offers a range of features including Centralized Code Hosting, Lifecycle Management, Variant and Hyperparameter Experimentation, A/B Deployment, reporting for all runs and experiments and so on.

What it solves

此專案提供一套標準化的模板與指引，協助使用 Prompt flow 實作 LLMOps（大型語言模型運營）。它解決了管理 LLM 注入應用程式端到端生命週期的困難——從本地實驗與 Prompt 工程到生產部署與監控——尤其在同時處理多條具有獨特需求的流程時。

How it works

此模板建立了一個結構化框架，用於開發、評估與部署 Prompt flow 工作流程。支援三種流程類型：基於 YAML（DAG）的、基於 Python 函式的，以及基於 Python 類別的。透過支援本機執行、Azure AI Studio 與 Azure Machine Learning，自動化環境之間的切換。系統與 GitHub Actions、Azure DevOps、Jenkins 等 CI/CD 工具整合，以協調外部迴路的部署流程，同時提供內部迴路實驗工具，包括變體與超參數測試以及詳細的指標報告。

Who it’s for

此模板適用於建構 LLM 注入應用程式的工程師、資料科學家與開發者，幫助他們以有紀律且可擴展的方式進行 Prompt 工程與營運化。

Highlights

  • Multi-Flow Management: 在單一儲存庫中集中管理多條流程，且各自擁有獨立的生命週期。
  • C’D Integration: 內建對 GitHub、Azure DevOps 與 Jenkins 的支援與編排。
  • Flexible Deployment: 可將流程部署至 Kubernetes、Azure Web Apps 以及 AzureML/AI Studio 管理的運算資源，並支援 A/B 部署功能。
  • Experimentation Tools: 支援變體與超參數實驗，並提供完整的 HTML/CSV 報告。
  • DataOps Integration: 透過獨立的資料管線，確保實驗與評估所使用的資料集具備嚴謹的前處理流程。
  • Hybrid Execution: 可依設定在本機或 Azure 雲端執行流程。