vllm-project/aibrix

AIBrix – 快速概览

AIBrix 是一个开源、云原生的平台，用于大规模运行大语言模型（LLM）推理。它构建于 Kubernetes 之上，提供了一系列组件，涵盖 GenAI 服务的整个生命周期：模型下载、路由、自动扩缩容、故障检测以及成本感知的异构 GPU 调度。

功能概述

部署 LLM（包括 LoRA 适配变体）作为 Kubernetes 资源。
路由请求至合适的模型副本，通过 LLM 感知的网关。
自动扩缩容推理 Pod，基于实时流量和服务级别目标。
跨节点共享 KV 缓存，减少长上下文提示的重计算。
检测 GPU 故障，并能优雅地退役故障硬件。
支持混合 GPU 集群，允许在低负载流量时使用较便宜的 GPU，同时保留高端 GPU 用于延迟敏感的请求。

核心组件

组件	作用
统一 AI 运行时（边车）	标准化指标，处理模型下载，并提供轻量级管理 API。
LLM 网关与路由	客户端调用的入口；在模型副本之间平衡流量。
应用定制自动扩缩器	使用 LLM 特定信号（如令牌吞吐量、队列深度）扩展 Kubernetes HPA。
分布式 KV 缓存	跨 Pod 共享注意力缓存，实现高密度长上下文服务。
CRD 与操作器	声明式 Kubernetes 对象（如 `LLMModel`、`LLMDeployment`），由操作器协调。
GPU 故障检测器	监控硬件健康，并在故障时触发 Pod 重新调度。

适用人群

企业：需要生产级、Kubernetes 原生方式服务多个 LLM，同时控制成本。
研究实验室：希望为系统级实验提供可复现、可扩展的推理栈。
云服务提供商或平台团队：希望向内部用户提供托管的 GenAI 服务。

快速开始（极简）

# 克隆仓库
git clone https://github.com/vllm-project/aibrix.git && cd aibrix
# 安装 CRD 和依赖（夜间版示例）
kubectl apply -k config/dependency --server-side
kubectl apply -k config/crd --server-side
kubectl apply -k config/default

或者使用发布版 YAML 获取稳定版本（例如 v0.8.0‑rc.1）。

文档与社区

完整文档：https://aibrix.readthedocs.io/latest/
博客、白皮书和发布说明可从 README 中链接获取。
社区 Slack：#aibrix（通过 vLLM 开发者工作区）。

许可证

Apache 2.0 – 免费用于商业和学术用途。

总结： AIBrix 打包了在 Kubernetes 上运行 LLM 推理所需的管道，涵盖模型管理、路由、自动扩缩容、缓存共享和硬件可靠性，全部基于 Apache‑2.0 许可证。