Netflix/metaflow

Build, Manage and Deploy AI/ML Systems

What it solves

Metaflow は、科学者やエンジニアがノートブックでの迅速なプロトタイピングから、信頼性が高く保守しやすい本番デプロイへ AI と ML システムを移行する際の摩擦を解消します。開発の各フェーズでコード、データ、コンピュートを統合することで、開発ライフサイクル全体を効率化します。

How it works

Metaflow は Pythonic な API を提供し、ユーザーは「flows」（ワークフロー）を構築できます。これらのフローはローカルで開始でき、後にクラウドへスケールアウトできます。実験トラッキング、バージョニング、依存関係管理といった ML システムに必要なインフラを自動で処理します。CPU と GPU を用いた水平・垂直スケーリングに対応し、大規模な並列計算や gang‑scheduled 分散コンピューティングをサポートします。

Who it’s for

古典的統計からディープラーニング、基盤モデルまで、さまざまなプロジェクトに取り組む大小さまざまな研究・エンジニアリングチーム向けです。

Highlights

  • one‑click で本番オーケストレータへデプロイ、リアクティブオーケストレーションに対応。
  • 組み込みの実験トラッキング、バージョニング、可視化機能。
  • クラウド上で CPU/GPU の計算ワークロードを簡単にスケール可能。
  • ノートブックと迅速なローカルプロトタイピングをサポート。
  • 高性能コンピューティングジョブ向けの高速データアクセス。