deepseek-ai/DeepSelect

해결하는 문제

DeepSelect는 DeepSeek Sparse Attention (DSA) 및 샘플링에 사용되는 TopK 커널의 고성능 구현을 제공합니다. 대규모 모델 추론 및 학습에서 병목 현상이 발생할 수 있는 표준 torch.topk 함수를 대체하여 훨씬 빠른 실행 속도를 제공하는 것을 목표로 합니다.

작동 원리

DeepSelect는 NVIDIA CUDA 및 Huawei Ascend 플랫폼을 위한 최적화된 커널을 구현합니다. 두 가지 주요 시나리오에 중점을 둡니다. bfloat16 입력과 작은 TopK 값(최대 4096)을 사용하는 'Lightning Indexer' 시나리오와, float32 입력과 큰 어휘 사전(약 128K) 및 작은 TopK 값을 사용하는 'Sampling' 시나리오입니다. TopK 작업은 본질적으로 연산 중심이 아닌 메모리 중심 작업이므로, 이 구현은 메모리 대역폭 사용을 최적화합니다.

대상 사용자

이 도구는 DeepSeek 모델(특히 V3.2, V4, V4.1)을 사용하는 개발자 및 연구원, 또는 CUDA나 Ascend NPU에서 고성능 TopK 작업이 필요한 모든 AI 프로젝트를 위해 설계되었습니다.

주요 특징

• 상당한 속도 향상: 기존 torch.topk 대비 2배에서 20배 더 빠른 성능을 달성합니다.
• 멀티 플랫폼 지원: NVIDIA CUDA 및 Huawei Ascend 플랫폼 모두와 호환됩니다.
• 하드웨어별 최적화: 특정 데이터 유형(bfloat16 및 float32)과 희소 어텐션(sparse attention) 및 샘플링과 같은 일반적인 LLM 워크로드에 맞춰 조정되었습니다.
• 유연한 출력: 인덱스별 정렬을 비활성화하거나 값 출력을 건너뛰어 성능을 더욱 향상시킬 수 있습니다.