deepseek-ai/TileKernels

해결 과제

TileKernels는 대규모 언어 모델(LLM) 학습 및 추론에 사용되는 일반적인 연산을 위한 고도로 최적화된 컴퓨팅 커널 라이브러리를 제공합니다. 하드웨어의 이론적 연산 한계나 메모리 대역폭에 가까운 성능을 달성하여 복잡한 AI 워크로드의 병목 현상을 줄이는 것을 목표로 합니다.

작동 방식

이 라이브러리는 여러 하드웨어 백엔드를 지원하는 도메인 특화 언어(DSL)인 TileLang을 사용하여 구현되었습니다. 이를 통해 동일한 Python API가 NVIDIA GPU(SM90/SM100)와 Huawei Ascend NPU(950) 모두에서 효율적으로 실행되며, 런타임에 백엔드가 자동으로 선택됩니다.

대상 사용자

고성능 LLM 학습 및 추론을 수행하는 개발자와 연구원, 특히 Mixture-of-Experts(MoE) 또는 고급 양자화 기술을 사용하는 사용자를 위해 설계되었습니다.

주요 특징

• MoE Routing: 최적화된 top-k 전문가 선택 및 스코어링.
• Quantization: per-token, per-block, per-channel FP8/FP4 캐스팅 및 역양자화 지원 (융합된 SwiGLU 연산 포함).
• Engram: RMSNorm이 융합된 게이팅 커널로, 순방향/역방향 패스 지원.
• Manifold HyperConnection: Sinkhorn 정규화 및 믹스 분할/적용 커널 포함.
• Hardware Versatility: NVIDIA 및 Huawei Ascend 하드웨어 백엔드에 대한 네이티브 지원.