TangleML/tangle

解决的问题

Tangle 为机器学习实验和生产流水线提供了一个可视化编排系统。它消除了手动管理批处理工作流、容器化任务以及 ML 流水线各步骤间数据传输的复杂性。

工作原理

Tangle 采用基于图的方法，用户通过将组件（容器化的命令行程序）拖放到画布上来构建流水线。这些组件通过将输出连接到输入的方式进行连接，形成一个任务的有向图。

系统由 API 服务器和编排器管理。编排器使用「Launchers」在各种环境中（如本地 Docker、Kubernetes 或 Google Cloud）执行这些容器，并处理任务之间的数据制品传递。它支持自动执行缓存，以避免冗余计算。

适用人群

专为需要构建、监控和迭代可在本地或云端运行的批处理 ML 工作流的 ML 工程师和数据科学家设计。

主要亮点

• 可视化流水线构建器：直观的拖拽界面，用于创建工作流。
• 与 Cortana 无关的组件：组件可用任意语言（Python、R、Java 等）编写，兼容 Google Cloud Vertex AI 和 Kubeflow Pipelines。
• 灵活部署：可通过 Docker/Podman 本地运行，或托管在 HuggingFace Spaces 上。
• 执行缓存：自动复用缓存中的成功运行结果，节省时间和计算资源。
• 可复现性：完整保留运行历史，包括图谱、日志和元数据，支持轻松克隆和重新执行。