mlflow/mlflow

MLflow – オープンソースAIエンジニアリングプラットフォーム

何であるか – MLflowは成熟したオープンソースプラットフォームで、チームが機械学習および生成AI（LLM/エージェント）アプリケーションの構築、追跡、評価、デプロイを支援します。当初は従来のML実験追跡とモデルレジストリ用のツールとして始まり、最近では完全なGenAIスタック（トレーシング、評価、プロンプト管理、最適化、AIゲートウェイ）を追加しました。プロジェクトはMLflowコミュニティによって維持されており、Databricksが支援しています。

コア機能

分野	提供される機能
実験追跡	各実行のパラメータ、メトリクス、アーティファクト、ソースコードをログに記録；Web UIで閲覧またはPython/Java SDKでクエリ可能。
モデルレジストリ	ステージ遷移（ステージング → 本番）を備えたバージョン管理モデルストア、ラインレージ、アクセス制御。
デプロイ	Docker、Kubernetes、Azure ML、SageMaker、その他のランタイムへのワンクリックサービング。
LLM/エージェントの可視性	60以上のLLMフレームワーク（LangChain、LangGraph、OpenAIエージェントなど）に対し、自動OpenTelemetryベースのトレーシング。プロンプト、応答、トークン使用量、カスタムメタデータをキャプチャ。
評価とモニタリング	50以上の品質メトリクスとLLMジャッジを内蔵；時間経過に伴う回帰を追跡。
プロンプトレジストリと最適化	ラインレージ付きのバージョン管理プロンプトストア；最新のアルゴリズムを用いた自動プロンプトチューニング（オプション）。
AIゲートウェイ	任意のプロバイダー（OpenAI、Anthropic、Gemini、Bedrock、LiteLLMなど）にリクエストをルーティングする統合OpenAI互換プロキシ；レート制限、コスト上限、ガードレールを強制。
多言語サポート	Python、TypeScript/JavaScript、Java用SDKとREST APIを提供し、ほぼすべてのスタックをインストルメント可能。

一般的なワークフロー

1. サーバーの起動 – uvx mlflow serverでローカルまたはクラウド上でトレーシングUIを実行。
2. コードのインストルメント – mlflow.openai.autolog()（他のプロバイダー用の同等機能）で、プロンプト、応答、メトリクスを自動ログ。
3. 実験の実行 – LLMまたはMLコードを実行；すべての実行がUIに表示され、トレース、評価スコア、コスト情報が含まれる。
4. 反復 – プロンプトレジストリを使って新しいプロンプトをバージョン管理し、体系的な評価を実行し、組み込み最適化ツールが改善策を提案。
5. デプロイ – 検証済みのモデルまたはエージェントをモデルレジストリに昇格させ、AIゲートウェイまたはコンテナ化エンドポイントで提供。

エコシステムと統合

• エージェントフレームワーク：LangChain、LangGraph、OpenAIエージェント、DSPy、CrewAI、LlamaIndex、AutoGen、Semantic Kernelなど（PythonおよびTypeScript/Java対応）。
• LLMプロバイダー：OpenAI、Anthropic、Google Gemini、Amazon Bedrock、Databricks、LiteLLM、Mistralなど。
• 可視性：ネイティブOpenTelemetryサポート；Jaeger、Zipkin、または任意のOTLPコレクタにトレースを転送可能。
• デプロイ先：Docker、Kubernetes、Azure ML、AWS SageMaker、Databricks、および一般的なRESTエンドポイント。

導入方法

# 1️⃣ Python SDKのインストール
pip install mlflow

# 2️⃣ ローカルサーバーの起動（UIは http://localhost:5000 で実行）
uvx mlflow server

# 3️⃣ 自動LLMログの有効化
python - <<'PY'
import mlflow
mlflow.set_tracking_uri('http://localhost:5000')
mlflow.openai.autolog()

from openai import OpenAI
client = OpenAI()
client.responses.create(model='gpt-4o-mini', input='Hello!')
PY

http://localhost:5000にアクセスしてトレース、メトリクス、プロンプトバージョンを確認してください。

誰が使うべきか？

• 再現可能な実験追跡とモデルバージョニングが必要なデータサイエンスチーム。
• 本番用LLMアプリケーションや自律エージェントを開発するエンジニアリンググループで、組み込みの可視性、コスト制御、セキュリティガードレールを求める人。
• 伝統的なMLパイプラインと現代のGenAIワークフローをカバーする単一プラットフォームを探している組織。

ライセンス – Apache 2.0（LICENSE.txtファイルを参照）。

---

上記のすべての詳細は、リポジトリのREADMEから直接取得；追加機能は推測されていません。