ome-projects/ome

OME (Open Model Engine) – Kubernetes Operator for LLM Serving

是什么 – OME 是一个 Kubernetes 原生控制器，可让您在集群内大规模运行大语言模型（LLMs）。它将每个模型、运行时和 GPU 资源视为 Kubernetes 的第一类自定义资源，从模型摄入到推理服务部署的整个生命周期均实现自动化。

核心功能

• Model CRDs – BaseModel/ClusterBaseModel 描述模型文件（架构、参数量、格式）。OME 解析文件，支持多种格式（SafeTensors、PyTorch、TensorRT、ONNX），并以双重加密和命名空间范围存储模型。
• 智能运行时选择 – OME 根据模型特性对可用运行时（如 SGLang、vLLM）进行评分，并自动选择最佳运行时。
• 优化的部署模式 – 支持预填充/解码分离、多节点推理、金丝雀/蓝绿部署以及自定义自动扩缩策略。
• GPU感知调度 – AcceleratorClass 资源描述 GPU 能力和成本；OME 的二进制打包调度器在尊重高可用性要求的前提下，最大化集群利用率。
• 集群级配额（alpha） – 可选控制平面组件（ome-quota-manager、ome-alfred）构建分层 GPU 配额树，并通过 Kueue 向集群暴露，实现大规模 GPU 农场的组调度（gang-scheduling）。
• CLI 与 Web 控制台 – kubectl ome（kubectl 插件）允许运维人员检查模型、运行时、部署状态，并执行受保护操作（暂停、提升、回滚、迁移）。独立的 Web UI（ome-console）提供带有 HuggingFace 模型搜索功能的可视化仪表板。
• 基准测试 – BenchmarkJob CRD 运行可配置的流量负载并存储结果，使性能对比可重复。

如何获取

1. 前提条件 – Kubernetes 1.28+。
2. 安装 CRD 与核心操作符 – 通过 Helm 从 OCI 注册表安装：

   helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace
   helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome
   

3. 可选附加组件 – 调度器、配额管理器和“Alfred”看护者均为独立 Helm 图表，可根据需要启用。
4. CLI – 使用 Krew 安装 kubectl ome 插件：

   kubectl krew install --manifest-url https://github.com/ome-projects/ome/releases/latest/download/ome.yaml
   

   或从源码构建（make kubectl-ome）。

典型工作流

1. 创建一个指向存储在支持后端中的模型文件的 BaseModel（或 ClusterBaseModel）。
2. OME 解析模型，创建 ServingRuntime（或选择现有运行时）并匹配到 AcceleratorClass。
3. InferenceService 资源将模型与运行时绑定；OME 生成必要的 Pod、Service 和 Gateway-API 路由。
4. 通过 KEDA 或 HPA 的自动扩缩策略和部署策略，保持服务响应性并支持安全更新。
5. 使用 kubectl ome 或 Web 控制台监控健康状态、查看部署决策并运行 BenchmarkJob。

生产就绪性 – 项目提供 v1beta1 API，完整文档，单元/集成测试覆盖，基于 RBAC 的安全机制，模型加密，以及高可用存储。已在生产环境中用于大规模 LLM 工作负载。

许可证 – Apache 2.0。

---

TL;DR – OME 是一个生产级、Kubernetes 原生平台，通过声明式 CRD、Helm 可安装操作符、CLI 和配套 Web UI，自动化实现 LLM 服务所需的一切——模型摄入、运行时选择、GPU 感知调度、部署策略和可观测性。