microsoft/genaiops-promptflow-template

GenAIOps with Prompt Flow is a "GenAIOps template and guidance" to help you build LLM-infused apps using Prompt Flow. It offers a range of features including Centralized Code Hosting, Lifecycle Management, Variant and Hyperparameter Experimentation, A/B Deployment, reporting for all runs and experiments and so on.

What it solves

此项目提供一套标准化的模板和指南，帮助使用 Prompt flow 实现 LLMOps（大型语言模型运维）。它解决了管理 LLM 注入应用端到端生命周期的难题——从本地实验与 Prompt 工程到生产部署与监控——尤其在同时处理多条具有独特需求的流程时。

How it works

该模板建立了一个结构化框架，用于开发、评估和部署 Prompt flow 工作流。支持三种流类型：基于 YAML（DAG）的、基于 Python 函数的以及基于 Python 类的。通过支持本地执行、Azure AI Studio 和 Azure Machine Learning，实现环境之间的自动切换。系统与 GitHub Actions、Azure DevOps、Jenkins 等 CI/CD 工具集成，协调外部循环的部署过程，同时提供内部循环实验工具，包括变体和超参数测试以及详细的指标报告。

Who it’s for

它面向构建 LLM 注入应用的工程师、数据科学家和开发者，帮助他们以纪律严明且可扩展的方式进行 Prompt 工程和运营化。

Highlights

  • Multi-Flow Management: 在单一仓库中集中托管多条流，并拥有独立的生命周期。
  • C’D Integration: 内置对 GitHub、Azure DevOps 和 Jenkins 的支持与编排。
  • Flexible Deployment: 可将流部署到 Kubernetes、Azure Web Apps 以及 AzureML/AI Studio 管理的计算资源，支持 A/B 部署功能。
  • Experimentation Tools: 支持变体和超参数实验，并提供完整的 HTML/CSV 报告。
  • DataOps Integration: 通过独立的数据管道，确保实验和评估使用的数据集具备严格的准备流程。
  • Hybrid Execution: 可根据配置在本地或 Azure 云端运行流。