giovtorres/slurm-docker-cluster

何を解決するか

Slurm Docker Cluster は、Docker Compose を使用して完全に機能する Slurm クラスタを迅速にデプロイする方法を提供します。ハイパフォーマンスコンピューティング（HPC）環境の複雑な手動設定を排除し、開発者は物理的なハードウェアクラスタを必要とせずに、ジョブスケジューリングのテスト、HPCアプリケーションの開発、コンピューティングリソースの管理が可能になります。

動作方法

このプロジェクトは、Slurm環境の各コンポーネントを個別のコンテナに分離するマルチコンテナアーキテクチャを使用しています。アカウンティング用のデータベース（MySQL）、スケジューリング用のコントローラー（slurmctld）、動的登録を使用してクラスタに参加するスケーラブルなコンピューティングノード（c1、c2など）を含みます。また、プログラムによるアクセス用のREST API、Webベースのポータル用のOpen OnDemand、ジョブ監視用のElasticsearch/Kibanaスタックといったオプションコンポーネントも提供しています。

対象ユーザー

開発者や研究者が、開発、テスト、または軽量利用のためにSlurm互換環境を必要としている場合に最適です。特に、複数ノード間でのジョブスケジューリングを必要とするHPCソフトウェアやAI/MLワークロードに従事している方々に適しています。

特徴

• スケーラブルなコンピューティングノード： クラスタの再構築なしにCPUおよびGPUワーカーを動的にスケーリング可能。
• GPUサポート： NVIDIA CUDAベースイメージおよびNVIDIA Container Toolkitとの統合により、ハードウェアアクセラレーションを実現。
• 統合されたソフトウェア管理： 科学的ソフトウェアパッケージのインストールと管理を容易にするSpakとLmodを含む。
• Webベースの管理： ブラウザベースのジョブ提出とファイル管理が可能なオプションのOpen OnDemandポータル。
• マルチアーキテクチャ対応： AMD64およびARM64アーキテクチャ向けの事前ビルド済みイメージを提供。