raids-lab/crater

何を解決するか

Crater は共有 AI コンピューティングクラスタを管理する Kubernetes ネイティブなコントロールプレーンを提供します。マルチテナント GPU リソース管理に直接 Kubernetes を使う際の複雑さを解消し、手動の YAML マニフェストの代わりに、ユーザー、クォータ、AI ワークロードの管理を統合されたインターフェースで行います。

動作方法

Kubernetes と Volcano の上に構築された Crater は、オペレーショナルレイヤーを追加し、ユーザー、アカウント、キューを下位のコンピューティングリソースと接続します。LLM 学習、推論サービス、インタラクティブ開発環境を含む AI ワークロードのライフサイクル全体を管理し、データセット、モデル、コンテナイメージの管理を一元化したシステムを提供します。

対象ユーザー

大学、研究機関、企業の AI チーム、プラットフォームエンジニアなど、複数のチーム、学生、プロジェクトが1つの GPU クラスタを共有する必要がある方々に最適です。

特徴

• マルチテナントガバナンス: アカウント、クォータ、承認を管理し、公正で責任あるリソース配分を確保します。
• ポリシー対応スケジューリング: Volcano を使用してキューベースの承認と、異種アクセラレータ（NVIDIA など）間での優先度対応実行を実現します。
• インタラクティブワークスペース: コンテナ化された Jupyter、WebIDE、ターミナルをワンクリックでデプロイ可能。
• アセット管理: ワークロード間で再利用可能なモデル、データセット、イメージを一元管理。
• AI支援オペレーション: Web コンソール、CLI、エージェント指向インターフェースを提供し、自動化・知能化されたクラスタ管理を実現。