vllm-project/vllm-ascend

vLLM Ascend 플러그인 – Huawei Ascend NPU에서 vLLM 실행

정의 – 커뮤니티 유지 관리 하드웨어 플러그인으로, 고처리량 LLM 서빙 엔진 vLLM을 Huawei의 Ascend 신경 처리 장치(NPU)에서 직접 실행할 수 있게 합니다. "하드웨어 플러그 가능" RFC를 구현하여 Ascend 백엔드가 vLLM 코어와 깔끔하게 분리됩니다.

중요성 – Ascend NPU는 대규모 추론 및 훈련을 위해 설계되었습니다. vLLM에 연결하면 vLLM이 GPU에서 제공하는 저지연, 고처리량 특성을 유지하면서 transformer 기반 LLM, Mixture‑of‑Experts, 임베딩 모델, 멀티모달 LLM을 서빙할 수 있으며, Ascend의 특화 하드웨어를 활용할 수 있습니다.

README 핵심 사항

• 지원 하드웨어 – Atlas 800I/800I‑A2/A3 추론 시리즈, Atlas A2/A3 훈련 시리즈, 실험적 Atlas 300I Duo.
• 소프트웨어 스택 – Linux, Python 3.10‑3.12, CANN 9.1.0, PyTorch 2.10.0 + TorchNPU 2.10.0.post4, 및 일치하는 vLLM 버전.
• 릴리스 주기 – 정기적인 안정 릴리스(예: v0.23.0) 및 릴리스 후보 빌드(v0.26.0rc1, v0.30.0rc1). 각 릴리스는 특정 vLLM 버전과 일치합니다.
• 브랜치 모델 – main은 vLLM 메인 브랜치를 추적; releases/vX.Y.Z는 특정 vLLM 버전의 버그 수정만 추적; 기능 브랜치는 rfc/… 아래에 있습니다.
• 시작하기 – 각 버전에 대한 빠른 시작 및 설치 가이드가 제공됩니다(표에 링크). README에는 권장 버전 매트릭스가 나열되어 있습니다.
• 커뮤니티 – Slack 채널 #SIG-Ascend, 사용자 포럼, 주간 회의, 더 깊은 기술 세부 사항을 위한 DeepWiki 지식 베이스.
• 라이선스 – Apache 2.0.

일반적인 워크플로우

1. 환경 준비 – CANN 9.1.0, PyTorch 2.10.0, TorchNPU 2.10.0.post4, 및 일치하는 vLLM 릴리스를 설치합니다.
2. 플러그인 설치 – 버전별 설치 가이드를 따릅니다(예: pip install vllm-ascend==0.23.0).
3. vLLM 실행 – 문서에 따라 Ascend 백엔드 플래그를 사용하여 vLLM을 시작하고 NPU에서 모델을 서빙합니다.
4. 튜닝 및 모니터링 – DeepWiki 및 커뮤니티 리소스를 사용하여 성능 튜닝, 대규모 전문가 병렬 처리, 문제 해결을 수행합니다.

사용 대상 – Ascend NPU에 접근 권한이 있거나(Huawei HiDevLab을 통해 요청 가능) vLLM의 효율적인 스케줄링으로 대규모 언어 모델을 서빙하려는 연구자 또는 엔지니어, 또는 Ascend 하드웨어에서 프로덕션급 추론 스택이 필요한 분.

---

모든 정보는 저장소의 README에서 직접 가져왔습니다. 추가 기능은 추론되지 않았습니다.