TangleML/tangle

何を解決するか

Tangleは、機械学習実験および本番パイプライン用の視覚的オーケストレーションシステムです。手動でバッチワークフロー、コンテナ化されたタスク、およびMLパイプラインの各ステップ間のデータ転送を管理する複雑さを排除します。

動作方法

Tangleは、ユーザーがキャンバス上にコンポーネント（コンテナ化されたコマンドラインプログラム）をドラッグアンドドロップしてパイプラインを構築するグラフベースのアプローチを使用します。これらのコンポーネントは出力を入力にリンクすることで接続され、タスクの有向グラフを形成します。

APIサーバーとオーケストレーターがシステムを管理します。オーケストレーターは「Launchers」を使用して、ローカルのDocker、Kubernetes、Google Cloudなど、さまざまな環境でコンテナを実行し、タスク間でのデータアーティファクトの受け渡しを処理します。冗長な計算を回避するための自動実行キャッシュをサポートしています。

対象ユーザー

ローカルまたはクラウドで実行可能なバッチMLワークフローを構築・監視・反復する必要があるMLエンジニアおよびデータサイエンティスト向けに設計されています。

特徴

• 視覚的パイプラインビルダー: ワークフローを作成するための直感的なドラッグアンドドロップインターフェース。
• Cortanaに依存しないコンポーネント: 任意の言語（Python、R、Javaなど）で記述可能で、Google Cloud Vertex AIおよびKubeflow Pipelinesと互換性があります。
• 柔軟なデプロイメント: Docker/Podman経由でローカル実行可能、またはHuggingFace Spaces上でホスト可能。
• 実行キャッシュ: 成功した実行結果をキャッシュから自動的に再利用し、時間と計算リソースを節約。
• 再現性: 実行履歴（グラフ、ログ、メタデータなど）を完全に保持し、簡単にクローンして再実行が可能。