rednote-machine-learning/RedKnot

해결하는 문제

RedKnot은 긴 문맥에서 대규모 언어 모델(LLM)을 서빙할 때 발생하는 높은 계산 및 메모리 비용 문제를 해결합니다. 특히 모델 품질을 크게 희생하지 않으면서 첫 토큰 생성 시간(TTFT)을 단축하고 산술 계산 오버헤드를 줄이는 데 중점을 둡니다.

작동 원리

RedKnot은 세 가지 주요 메커니즘을 결합한 모델 인식 실행 프레임워크입니다.

1. 헤드 분해 및 집계 (Head Decomposition and Aggregation): 긴 문맥에서의 동작을 기반으로 어텐션 헤드를 분류합니다. 로컬 헤드는 재사용을 위해 오프라인에서 준비되며, 글로벌, 검색(Retrieval) 또는 복구(Recovery) 헤드는 온라인 상태를 유지하고 그 기여도가 모델에 다시 병합됩니다.
2. 희소 FFN 및 MoE 실행 (Sparse FFN and MoE Execution): 토큰 수준의 중요도를 사용하여 어떤 행이 피드포워드 네트워크(FFN) 계산에 들어갈지 결정하며, 전문가 혼합(MoE) 모델의 경우 적응형 전문가 Top-K 선택을 사용하여 필요할 때만 더 많은 전문가를 할당합니다.
3. SegPagedAttention: 헤드 및 세그먼트별로 KV 페이지와 가시성을 구성하여, 서로 다른 유형의 헤드(글로벌, 로컬, 검색)가 통합된 캐시 레이아웃 없이도 서로 다른 문맥 범위를 소비할 수 있도록 합니다.

대상 사용자

DeepSeek V4, Mistral, Qwen, Llama와 같은 긴 문맥 LLM을 배포하고, 고성능 GPU 하드웨어(예: NVIDIA H200/B300)에서 추론 속도와 계산 효율성을 최적화해야 하는 개발자 및 연구자를 위해 설계되었습니다.

주요 특징

• 상당한 성능 향상: 핫 상태에서 TTFT 25배 가속 및 산술 계산 7090% 절감을 목표로 합니다.
• 최소한의 품질 손실: 품질 저하를 1퍼센트 포인트 이내로 유지하는 것을 목표로 합니다.
• 광범위한 모델 지원: DeepSeek V4 Flash, Mistral, Qwen3, Qwen3.5 MoE 및 Llama 3.3에 대한 어댑터와 벤치마크를 포함합니다.
• SGLang 통합: SGLang을 기반으로 구축되었으며 현재 핵심 코드를 vLLM으로 마이그레이션 중입니다.