vllm-project/aibrix
Cost-efficient and pluggable Infrastructure components for GenAI inference
AIBrix – 빠른 개요
AIBrix는 대규모 언어 모델(LLM) 추론을 대규모로 실행하기 위한 오픈 소스, 클라우드 네이티브 플랫폼입니다. Kubernetes에서 실행되도록 구축되었으며, GenAI 서비스의 전체 수명 주기(모델 다운로드, 라우팅, 자동 확장, 장애 감지, 비용 인식 이기종 GPU 스케줄링)를 처리하는 구성 요소 모음을 제공합니다.
기능
- LLM 배포(LoRA 적용 변형 포함)를 Kubernetes 리소스로 수행합니다.
- 요청 라우팅을 LLM 인식 게이트웨이를 통해 적절한 모델 복제본으로 수행합니다.
- 추론 포드 자동 확장을 실시간 트래픽 및 서비스 수준 목표에 따라 수행합니다.
- KV 캐시 공유를 노드 간에 수행하여 긴 컨텍스트 프롬프트의 재계산을 줄입니다.
- GPU 장애 감지 및 결함 하드웨어의 원활한 폐기를 지원합니다.
- 혼합 GPU 클러스터 지원으로 저부하 트래픽에는 저렴한 GPU를, 지연 시간에 민감한 요청에는 고성능 GPU를 사용할 수 있습니다.
핵심 구성 요소
| 구성 요소 | 역할 |
|---|---|
| 통합 AI 런타임(사이드카) | 메트릭 표준화, 모델 다운로드 처리, 경량 관리 API 제공 |
| LLM 게이트웨이 및 라우팅 | 클라이언트 호출의 진입점, 모델 복제본 간 트래픽 분산 |
| 앱 맞춤형 자동 확장기 | Kubernetes HPA를 LLM 특화 신호(예: 토큰 처리량, 큐 깊이)로 확장 |
| 분산 KV 캐시 | 포드 간 주의 캐시 공유, 긴 컨텍스트의 고밀도 서빙 가능 |
| CRD 및 운영자 | 운영자가 조정하는 선언적 Kubernetes 객체(예: LLMModel, LLMDeployment) |
| GPU 장애 감지기 | 하드웨어 상태 모니터링 및 장애 시 포드 재스케줄링 트리거 |
사용 대상
- 기업: 비용을 통제하면서 많은 LLM을 서빙할 수 있는 프로덕션 등급의 Kubernetes 네이티브 방식을 필요로 하는 경우
- 연구소: 시스템 수준 실험을 위한 재현 가능하고 확장 가능한 추론 스택을 원하는 경우
- 클라우드 제공자 또는 플랫폼 팀: 내부 사용자에게 관리형 GenAI 서비스를 제공하려는 경우
시작하기(매우 간단)
# 저장소 클론
git clone https://github.com/vllm-project/aibrix.git && cd aibrix
# CRD 및 종속성 설치(야간 빌드 예시)
kubectl apply -k config/dependency --server-side
kubectl apply -k config/crd --server-side
kubectl apply -k config/default
또는 안정적인 버전(예: v0.8.0‑rc.1)의 릴리스 YAML을 사용하세요.
문서 및 커뮤니티
- 전체 문서: https://aibrix.readthedocs.io/latest/
- 블로그, 백서, 릴리스 노트는 README에서 연결됩니다.
- 커뮤니티 Slack:
#aibrix(vLLM 개발 워크스페이스 통해)
라이선스
Apache 2.0 – 상업 및 학술 사용 무료.
결론: AIBrix는 Kubernetes에서 LLM 추론을 실행하는 데 필요한 파이프라인을 패키지화하여 모델 관리, 라우팅, 자동 확장, 캐시 공유, 하드웨어 안정성을 모두 Apache 2.0 라이선스 하에 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트