polyaxon/haupt

Lineage metadata API, artifacts streams, sandbox, API, and spaces for Polyaxon

Haupt – Polyaxonの補助サービス

何であるか

  • Hauptは、機械学習ワークフローを管理するためのツールセットであるPolyaxonプラットフォームのコンポーネントです。
  • 実験およびその出力と連携するための複数のAPIとインタラクティブユーティリティを公開するサービスとして動作します。

コア機能(READMEに記載)

機能 機能の概要
LineageメタデータAPI 実行の出自情報(例:どのデータ、コード、パラメータが特定の結果を生成したか)にプログラム的にアクセスできるようにします。
アーティファクト/メトリクス/シリーズストリーム 学習や評価中に生成されたファイル、スカラメトリクス、時系列データを送信・取得できます。
サンドボックス、インタラクティブセッション、SSH、tmux ユーザーがシェルを開き、SSHで接続する、またはtmuxで永続的なターミナルセッションを維持できる軽量で隔離された環境を提供します。
ローカルビューアAPI フロントエンドがローカルで結果(プロット、ログなど)をレンダリングするためのエンドポイントを提供します。
スペースとノートブックサービス プラットフォームから直接起動できる共同作業用スペースとJupyter風のノートブックをホストします。

なぜ重要なのか

  • 現代のMLパイプラインでは、どのデータ、コード、ハイパーパラメータがモデルを生成したかを追跡することは再現性にとって不可欠です。HauptのLineage APIはこれを自動化します。
  • 実時間でアーティファクトとメトリクスをストリーミングすることで、エンジニアはプラットフォームから離れることなくトレーニングジョブを監視できます。
  • インタラクティブサンドボックス/SSH/tmuxのサポートにより、開発者はなじみ深いターミナル環境でデバッグや実行の探索が可能になり、コンテキストスイッチの負担が軽減されます。
  • ローカルビューアAPIとノートブックサービスを公開することで、Hauptは生の実験出力と人間が読みやすいダッシュボードや探索用ノートブックの間のギャップを埋めます。

誰が使うべきか

  • 実験追跡にPolyaxonを使っているが、メタデータ、アーティファクト、インタラクティブセッションを組み込みで提供したいチーム。
  • 明確な出自情報を備えた再現可能なパイプラインが必要な研究者。
  • ML実行データを広範な監視システムやCI/CDシステムに統合したいDevOpsまたはMLOpsエンジニア。

さらに学ぶには

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • Dispatch