TangleML/tangle

해결하는 문제

Tangle은 머신러닝 실험 및 프로덕션 파이프라인을 위한 시각적 오케스트레이션 시스템입니다. 수동으로 배치 워크플로우, 컨테이너화된 작업, 그리고 ML 파이프라인의 각 단계 간 데이터 전송을 관리하는 복잡성을 제거합니다.

작동 방식

Tangle은 사용자가 캔버스에 컨테이너화된 명령줄 프로그램(컴포넌트)을 드래그 앤 드롭하여 파이프라인을 구성하는 그래프 기반 접근 방식을 사용합니다. 이러한 컴포넌트는 출력을 입력에 연결하여 방향성 그래프 형태의 작업 집합을 형성합니다.

API 서버와 오케스트레이터가 시스템을 관리합니다. 오케스트레이터는 'Launchers'를 사용하여 로컬 Docker, Kubernetes, Google Cloud 등 다양한 환경에서 컨테이너를 실행하고, 작업 간 데이터 아티팩트를 전달합니다. 중복 계산을 방지하기 위해 자동 실행 캐시를 지원합니다.

대상 사용자

로컬 또는 클라우드에서 실행 가능한 배치 ML 워크플로우를 구축하고 모니터링하며 반복 개선이 필요한 ML 엔지니어 및 데이터 사이언티스트를 위한 것입니다.

주요 기능

• 시각적 파이프라인 빌더: 워크플로우를 생성하기 위한 직관적인 드래그 앤 드롭 인터페이스.
• Cortana에 의존하지 않는 컴포넌트: Python, R, Java 등 어떤 언어로도 작성 가능하며 Google Cloud Vertex AI 및 Kubeflow Pipelines와 호환됩니다.
• 유연한 배포: Docker/Podman를 통해 로컬에서 실행하거나 HuggingFace Spaces에서 호스팅 가능.
• 실행 캐시: 성공한 실행 결과를 캐시에서 자동 재사용하여 시간과 컴퓨팅 자원 절약.
• 재현성: 실행 기록(그래프, 로그, 메타데이터 포함)을 완전히 유지하여 쉽게 클론하고 재실행 가능.