Netflix/metaflow
Build, Manage and Deploy AI/ML Systems
What it solves
Metaflow 帮助科学家和工程师克服将 AI 与 ML 系统从笔记本中的快速原型开发转移到可靠、可维护的生产部署时的摩擦。它通过在不同开发阶段统一代码、数据与计算，简化整个开发生命周期。
How it works
Metaflow 提供一套 Pythonic API，允许用户构建“flows”（工作流），这些流程可以在本地启动，然后扩展到云端。它处理 ML 系统的核心基础设施需求，如实验追踪、版本管理和依赖管理。支持使用 CPU 与 GPU 进行水平和垂直扩展，能够同时处理大规模并行计算工作负载和 gang‑scheduled 分布式计算。
Who it’s for
适用于各种规模的研究和工程团队，涵盖从传统统计到深度学习与基础模型等多样化项目。
Highlights
- one‑click 部署到生产编排器，支持实时编排。
- 内置实验追踪、版本管理和可视化功能。
- 能在云端轻松扩展计算工作负载（CPU/GPU）。
- 支持笔记本和快速本地原型开发。
- 为高性能计算作业提供快速数据访问。