polyaxon: それが何か、解決する問題、そして注目を集めている理由

解決する課題

Polyaxon は、大規模なディープラーニングアプリケーションにおける再現性、Automation、スケーラビリティの課題に対処します。GPU サーバーをチームや組織が共有できるセルフサービスリソースに変換することで、モデルの構築・学習・モニタリングのプロセスをシンプルにします。

仕組み

Polyaxon は、スマートなコンテナとノード管理を用いてワークロードを管理するプラットフォームとして機能します。データセンターやクラウドプロバイダー上にデプロイでき、TensorFlow、PyTorch、MXNet、Caffe といった主要なディープラーニングフレームワークをサポートします。システムはプロジェクト作成と実験追跡のための CLI、モニタリング用ダッシュボード、Jupyter ノートブックや TensorBoard との統合サポートを提供します。

対象ユーザー

チームや組織でディープラーニングワークロードをスケールさせ、共有コンピュートリソースを管理する必要があるデータサイエンティストや機械学習エンジニア向けに設計されています。

ハイライト

• 分散トレーニング: TensorFlow、PyTorch、MPI、Horovod、Spark、Dask の分散ジョブを簡素化します。
• ハイパーパラメータチューニング: Grid Search、Random Search、Hyperband、ベイズ最適化、Hyperopt をサポートする最適化エンジンを搭載しています。
• ワークフロー自動化: DAG（有向非循環グラフ）を用いて依存関係を管理しながら ML パイプラインを実行するコンテナネイティブエンジンを提供します。
• 並列実行: 同時に実行されるトレーニングや処理ジョブを管理するためのマッピング抽象化を提供します。