Dao-AILab/sonic-moe

Accelerating MoE with IO and Tile-aware Optimizations

What it solves

SonicMoE는 Mixture-of-Experts (MoE) 레이어의 성능 병목 현상을 해결하며, 특히 최신 NVIDIA GPU에서 활성화 메모리 사용량을 줄이고 학습 스루풋을 높이는 데 중점을 둡니다.

관련

  • 프로젝트
    microsoft/Tutel

    NVIDIA 및 AMD GPU에서 고도의 병렬화와 양자화를 활용하여 대규모 LLM의 학습 및 추론을 가속화하는 최적화된 Mixture-of-Experts (MoE) 구현체입니다.

  • Dispatch
    전문가 혼합(MoE) 설명

    전문가 혼합(MoE)은 트랜스포머 모델이 매 토큰마다 신경망 전문가의 일부만 활성화함으로써 파라미터를 확장하면서도 효율적인 사전 학습과 더 빠른 추론을 유지하도록 합니다.

  • 프로젝트
    EfficientMoE/MoE-Infinity

    MoE-Infinity is a library for cost-effective MoE inference that enables running large Mixture-of-Experts models on memory-constrained GPUs by offloading expert weights to host memory and SSD.

  • 프로젝트
    cursor/mixture-of-kittens

    NVIDIA Blackwell NVL72용 결정론적 MoE 훈련 메가커널로 계산과 통신을 융합하여 CPU-GPU 동기화를 제거하고 훈련 속도를 가속화합니다.

  • 프로젝트
    deepseek-ai/DeepEP

    MoE 모델을 위한 고성능 통신 라이브러리로, 전문가 병렬 처리에 최적화된 GPU 커널을 제공하여 처리량을 극대화하고 SM 리소스 사용을 최소화합니다.