raids-lab/crater
Crater is a cloud-native AI training & inference platform.
解决的问题
Crater 提供一个 Kubernetes 原生的控制平面，用于管理共享 AI 计算集群。它消除了直接使用原始 Kubernetes 进行多租户 GPU 资源管理的复杂性，用统一的界面替代手动 YAML 清单，实现对用户、配额和 AI 工作负载的集中治理。
工作原理
基于 Kubernetes 和 Volcano 构建，Crater 添加了一个操作层，将用户、账户和队列与底层计算资源连接起来。它管理 AI 工作负载的全生命周期——包括 LLM 训练、推理服务和交互式开发环境——同时提供一个集中式系统来管理数据集、模型和容器镜像。
适用人群
适用于需要在多个团队、学生或项目之间共享单一 GPU 集群的大学、研究机构、企业 AI 团队以及平台工程师。
核心亮点
- 多租户治理：管理账户、配额和审批，确保资源分配的公平性和可问责性。
- 策略感知调度：利用 Volcano 实现基于队列的准入控制和跨异构加速器（NVIDIA 等）的优先级感知执行。
- 交互式工作区：一键部署容器化的 Jupyter、WebIDE 和终端。
- 资产管理：集中组织模型、数据集和镜像，供多个工作负载复用。
- AI 辅助运维：提供 Web 控制台、CLI 和面向代理的接口，实现自动化和智能化的集群管理。
相关
- 项目
volcano-sh/volcanoVolcano 是 CNCF 入孵项目，一个 Kubernetes 原生批处理调度器，支持 gang 调度、GPU 感知与拓扑感知放置、优先级/抢占以及丰富的作业生命周期管理。它使大规模 AI/ML 训练、Spark/Flink 数据流水线和 HPC 工作负载能够在 Kubernetes 集群上高效运行。
- 项目
Yuan-lab-LLM/ClawManagerClawManager 是一个开源、Kubernetes 原生的控制平面，允许操作员在 AI 代理工作区（OpenClaw、Hermes、OpenCode、DeepSeek Harness）上进行配置、治理和协作。它集成了 React UI、Go 后端、MySQL 状态以及一系列服务（AI 网关、北向 API、安全防护），提供一键式运行时创建、模型访问审计、可重用资源注入、基于团队的任务分解和分层安全监控。可在 k3s 或完整 Kubernetes 集群上部署，面向需要可扩展、策略驱动的 AI 代理基础设施的平台团队。
- 项目
dstackai/dstack用于 GPU 配置和编排的统一控制平面，可简化任何 GPU 云、Kubernetes 或本地集群上的 AI 开发、训练和推理。
- 项目
- 项目
vfarcic/dot-ai一个通过 npm 发布出的 Node 库，为 Kubernetes/DevOps 工作流提供 LLM 驱动的助手。它提供 CLI 和托管平台 (MCP)，用于自然语言集群查询、部署建议、自动化修复、策略驱动的提示词库，以及语义文档搜索，所有功能都已打包好，可轻松安装在 Kubernetes 集群中。