mlflow/mlflow

解決的問題

MLflow 提供一個統一的平台，用於管理 AI 應用程式的整個生命週期，特別針對 AI 代理、大型語言模型（LLMs）以及傳統機器學習模型的除錯、評估、監控與最佳化等複雜性，確保它們可投入生產環境使用。

作法

MLflow 作為一個工程平台，可與各種程式語言（Python、TypeScript/JavaScript、Java）及框架整合。它提供多個核心元件：

• 可觀測性：使用 OpenTelemetry 捕捉 LLM 應用與代理的完整追蹤，以取得行為洞察。
• 評估：提供超過 50 個內建指標與 LLM 評審，用以追蹤品質並偵測回歸問題。
• 提示管理：支援提示的版本控制、測試與自動最佳化。
• AI 網關：作為統一的 API 網關，用於路由請求、管理速率限制，並控制不同 LLM 提供商的成本。
• ML 生命週期工具：包含實驗追蹤（用於參數與指標）、模型註冊表（用於協作管理），以及適用於 Kubernetes 與 AWS SageMaker 等多種環境的部署工具。

適用對象

所有規模的 AI 工程師與資料科學團隊，他們需要有信心並控制成本地將 AI 代理與模型從開發環境遷移至生產環境。

主要亮點

• 廣泛整合：支援超過 60 個框架的一行自動追蹤，並相容主要的 LLM 提供商。
• 全棧 LLMOps：涵蓋從提示最佳化到生產監控的整個流程。
• 開放標準：原生整合 OpenTelemetry 與 MCP。
• 可擴展部署：支援在多個雲端與容器平台進行批次與即時評分。