dsx-ai-factory/run-ai

解决的问题

NVIDIA Run:ai 解决了在 Kubernetes 环境中跨团队和项目管理和共享昂贵 GPU 资源的挑战。它通过提供集中式平台来调度、治理和监控 AI 工作负载，防止资源争用和利用率不足。

工作原理

Run:ai 作为 Kubernetes 之上的编排层。它由用于管理的中央控制平面和扩展原生 Kubernetes 调度的集群特定服务组成。它使用先进技术，如公平份额调度、抢占和分数 GPU 分配，确保 AI 训练、推理和开发工作负载根据定义的组织策略获得所需资源。

适用对象

该平台专为管理跨多个团队、部门或 Kubernetes 集群的共享 GPU 基础设施的组织和平台工程师设计，他们需要强制执行资源配额并提高整体 GPU 利用率。

亮点

• 支持公平份额、抢占和装箱的 AI 感知 GPU 调度。
• 动态、分数 GPU 分配，最大化硬件效率。
• 集中式多集群管理和 GPU 工作负载可观测性。
• 基于角色的访问控制和治理，以强制执行组织策略。
• 与标准 Kubernetes 工作流和工具（如 Kubeflow、Ray 和 KServe）无缝集成。