Dao-AILab/sonic-moe
Accelerating MoE with IO and Tile-aware Optimizations
What it solves
SonicMoE는 Mixture-of-Experts (MoE) 레이어의 성능 병목 현상을 해결하며, 특히 최신 NVIDIA GPU에서 활성화 메모리 사용량을 줄이고 학습 스루풋을 높이는 데 중점을 둡니다.
관련
- 프로젝트
microsoft/TutelTutel은 Mixture-of-Experts 모델을 위한 최적화 엔진으로, NVIDIA 및 AMD GPU에서 빠른 추론, 저정밀 형식, 동적 구성 변경, 그리고 많은 인기 있는 대규모 모델을 지원합니다.
- Dispatch
전문가 혼합(MoE) 설명전문가 혼합(MoE)은 트랜스포머 모델이 매 토큰마다 신경망 전문가의 일부만 활성화함으로써 파라미터를 확장하면서도 효율적인 사전 학습과 더 빠른 추론을 유지하도록 합니다.
- 프로젝트
EfficientMoE/MoE-InfinityMoE‑Infinity는 전문가 가중치를 CPU/SSD로 오프로딩하고 활성화 인식 캐시를 사용하여 VRAM이 제한된 GPU에서 대규모 Mixture‑of‑Experts 언어 모델의 추론을 가능하게 하는 라이브러리입니다. 또한 프로덕션 등급의 OpenAI 호환 서버도 제공합니다.
- 프로젝트
cursor/mixture-of-kittensMixture‑of‑Kittens (MoK)은 NVIDIA Blackwell GPU를 위한 결정론적 혼합 전문가(MoE) 메가커널입니다. 연산과 GPU 간 통신을 단일 CUDA 커널로 통합하고 BF16 및 MXFP8을 지원하여 기존 MoE 구현 대비 최대 2.37배의 속도 향상을 제공합니다. pip를 통해 설치하고, MoKConfig를 구성하며, 대칭 메모리 작업 공간을 생성하고, 스케줄을 빌드한 뒤 함수형 forward/backward API를 호출합니다. NVL72 하드웨어에서의 대규모 MoE 학습을 위해 설계되었습니다.
- 프로젝트
deepseek-ai/DeepEPDeepEP는 Mixture-of-Experts 학습 및 추론을 위한 고성능 커뮤니케이션 라이브러리입니다. JIT 컴파일된 올투올 디스패치/컴바인 커널, 통합 EPBuffer API, 전문가 복제 지원(가중치 프리페치 및 그래디언트 감소), 실험적 파이프라인/원격 메모리 프리미티브를 제공합니다. NVLink/RDMA를 갖춘 NVIDIA Hopper(및 Ascend) GPU용으로 설계되어 대규모 MoE 모델을 여러 GPU에 걸쳐 효율적으로 확장할 수 있습니다.