mlflow/mlflow

MLflow – 开源 AI 工程平台

是什么 – MLflow 是一个成熟的开源平台，帮助团队构建、跟踪、评估和部署机器学习及生成式 AI（LLM/代理）应用。它最初是用于经典机器学习实验跟踪和模型注册的工具，最近新增了完整的 GenAI 堆栈（追踪、评估、提示管理、优化和 AI 网关）。该项目由 MLflow 社区维护，并由 Databricks 支持。

核心功能

领域	提供的功能
实验跟踪	记录每次运行的参数、指标、制品和源代码；可通过 Web UI 查看或使用 Python/Java SDK 查询。
模型注册	支持阶段转换（暂存 → 生产）的版本化模型存储库，具备 lineage 和访问控制。
部署	一键部署至 Docker、Kubernetes、Azure ML、SageMaker 等运行时。
LLM/代理可观测性	支持超过 60 个 LLM 框架（LangChain、LangGraph、OpenAI Agent 等）的自动 OpenTelemetry 基础追踪。捕获提示、响应、令牌使用量和自定义元数据。
评估与监控	内置超过 50 个质量指标和 LLM 判官；可追踪随时间的性能退化。
提示注册与优化	支持 lineage 的版本化提示存储库；可选使用前沿算法进行自动提示调优。
AI 网关	统一的 OpenAI 兼容代理，可将请求路由至任意提供商（OpenAI、Anthropic、Gemini、Bedrock、LiteLLM 等），强制执行速率限制、成本上限和安全护栏。
多语言支持	提供 Python、TypeScript/JavaScript、Java SDK 和 REST API，可为几乎任何技术栈进行集成。

典型工作流

1. 启动服务器 – uvx mlflow server 在本地或云端运行跟踪 UI。
2. 代码注入 – 使用 mlflow.openai.autolog()（或其他提供商的等效方法）自动记录提示、响应和指标。
3. 运行实验 – 执行你的 LLM 或 ML 代码；所有运行结果都会在 UI 中显示，包含追踪信息、评估分数和成本数据。
4. 迭代优化 – 使用提示注册表版本化新提示，运行系统性评估，并让内置优化器建议改进方案。
5. 部署 – 将经过验证的模型或代理提升至模型注册表，并通过 AI 网关或容器化端点进行服务。

生态系统与集成

• 代理框架：LangChain、LangGraph、OpenAI Agent、DSPy、CrewAI、LlamaIndex、AutoGen、Semantic Kernel 等（支持 Python 和 TypeScript/Java）。
• LLM 提供商：OpenAI、Anthropic、Google Gemini、Amazon Bedrock、Databricks、LiteLLM、Mistral 等。
• 可观测性：原生支持 OpenTelemetry；可将追踪数据转发至 Jaeger、Zipkin 或任意 OTLP 收集器。
• 部署目标：Docker、Kubernetes、Azure ML、AWS SageMaker、Databricks 和通用 REST 端点。

快速入门

# 1️⃣ 安装 Python SDK
pip install mlflow

# 2️⃣ 启动本地服务器（UI 在 http://localhost:5000 运行）
uvx mlflow server

# 3️⃣ 启用自动 LLM 日志记录
python - <<'PY'
import mlflow
mlflow.set_tracking_uri('http://localhost:5000')
mlflow.openai.autolog()

from openai import OpenAI
client = OpenAI()
client.responses.create(model='gpt-4o-mini', input='Hello!')
PY

访问 http://localhost:5000 以探索追踪、指标和提示版本。

谁应该使用它？

• 需要可复现实验跟踪和模型版本控制的数据科学团队。
• 构建生产级 LLM 应用或自主代理的工程团队，希望获得内置可观测性、成本控制和安全护栏。
• 寻找一个统一平台，覆盖经典 ML 流水线和现代 GenAI 工作流的组织。

许可证 – Apache 2.0（参见 LICENSE.txt 文件）。

---

以上所有信息均直接来自仓库的 README；未推断任何额外功能。