microsoft/pai

何を解決するか

OpenPAIは、GPUやFPGAなどの強力なAIコンピューティングリソース（GPUファームやFPGAファームなど）と、モデル、データ、環境などの共通AIアセットを共有・管理できるフルスタックプラットフォームを提供します。AIのためのIT運用を簡素化し、完全なトレーニングパイプラインを実行できる中央集権的な場所を提供します。

動作方法

OpenPAIはKubernetes上で構築されたモジュール式のプラットフォームであり、Docker技術を用いてコンピューティングハードウェアとソフトウェアを分離しています。これにより、ユーザーは分散ジョブを実行でき、一貫した環境で異なるディープラーニングフレームワークを切り替えることができます。主な構成要素は以下の通りです：

• ジョブオーケストレーション＆スケジューリング：マルチテナントGPUクラスタ向けに、Framework Controllerと専用のKubernetesスケジューラ拡張（HiveD）を使用。
• 管理インターフェース：Webポータル、コマンドラインツール（paictl）、VS Code拡張機能を提供し、ジョブの提出とモニタリングに対応。
• アセット管理：ジョブテンプレートやサンプルを共有するマーケットプレイスと、チームベースのデータ共有に統合されたストレージ管理機能を備える。
• ハードウェアサポート：オンプレミス、ハイブリッド、パブリッククラウドのデプロイに対応し、CPU、GPU、FPGA、InfiniBandを含む異種ハードウェアをサポート。

対象ユーザー

• クラスタ管理者：コンピューティングリソースのデプロイ、可用性、保守を担当するIT専門家。
• クラスタユーザー：機械学習・ディープラーニング研究者、データサイエンティスト、学生、教員など、AIタスクのトレーニングやサービングが必要な人々。

特徴

• 異種ハードウェア対応：GPU、FPGA、InfiniBandのネイティブサポート。
• フルスタックソリューション：ユーザー認証、グループ管理、ジョブ実行時、エラー分析までをカバー。
• Kubernetes統合：Kubernetesエコシステムと互換性がありながら、AIワークロード向けの専用スケジューリングを提供。
• モジュールアーキテクチャ：組織のニーズに応じてコンポーネントを追加・カスタマイズ可能。
• コラボレーティブエコシステム：ワンクリックで共有されたAIジョブを再現できる統合マーケットプレイス。