Netflix/metaflow
Build, Manage and Deploy AI/ML Systems
What it solves
Metaflow は、科学者やエンジニアがノートブックでの迅速なプロトタイピングから、信頼性が高く保守しやすい本番デプロイへ AI と ML システムを移行する際の摩擦を解消します。開発の各フェーズでコード、データ、コンピュートを統合することで、開発ライフサイクル全体を効率化します。
How it works
Metaflow は Pythonic な API を提供し、ユーザーは「flows」（ワークフロー）を構築できます。これらのフローはローカルで開始でき、後にクラウドへスケールアウトできます。実験トラッキング、バージョニング、依存関係管理といった ML システムに必要なインフラを自動で処理します。CPU と GPU を用いた水平・垂直スケーリングに対応し、大規模な並列計算や gang‑scheduled 分散コンピューティングをサポートします。
Who it’s for
古典的統計からディープラーニング、基盤モデルまで、さまざまなプロジェクトに取り組む大小さまざまな研究・エンジニアリングチーム向けです。
Highlights
- one‑click で本番オーケストレータへデプロイ、リアクティブオーケストレーションに対応。
- 組み込みの実験トラッキング、バージョニング、可視化機能。
- クラウド上で CPU/GPU の計算ワークロードを簡単にスケール可能。
- ノートブックと迅速なローカルプロトタイピングをサポート。
- 高性能コンピューティングジョブ向けの高速データアクセス。
関連
- プロジェクト
zenml-io/zenmlZenMLは、AIエンジニアがパイプライン（LLMやエージェントワークフローを含む）を任意のインフラストラクチャ上で定義、バージョン管理、実行できるオープンソースのMLOpsプラットフォームです。自動コンテナ化、実行追跡、MLflow/W&B/LangChainとの統合、Webダッシュボード、チャットベースのクエリインターフェースを備え、Apache-2.0ライセンスで提供されます。
- プロジェクト
- プロジェクト
microsoft/promptflowPrompt flow は、LLM 駆動アプリケーションを再現可能な「フロー」として設計、テスト、評価、デプロイするための Microsoft の CLI および VS Code ベースのツールキットです。チャットボットプロジェクトのスキャフォールディング、OpenAI/Azure OpenAI 接続の管理、インタラクティブなトレース、CI/CD 対応の評価、クラウドデプロイオプションを提供します。プロジェクトは 2027 年 4 月に廃止予定で、Microsoft Agent Framework への移行が推奨されています。
- プロジェクト
airbnb/chrononAI/ML向けのデータプラットフォームで、データ計算と提供を抽象化し、オフライン学習データとオンラインリアルタイム特徴提供の時系列的一貫性を保証します。
- プロジェクト
OpenDCAI/DataFlowDataFlowは、LLMトレーニングデータの生成、クリーニング、評価用の低コードパイプラインを構築・実行・共有できるオープンソースのPythonフレームワークです。再利用可能なオペレーターのライブラリ、視覚的なWebUI、自動パイプライン作成を支援するAIアシスタント、およびRayベースの分散実行レイヤーを提供しています。