kvcache-ai/ktransformers
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
해결하는 문제
DeepSeek-V3/R1과 같은 대규모 혼합 전문가(MoE) 모델은 추론이나 미세 조정에 막대한 GPU 메모리(종종 80GB 이상)가 필요하여 일반적인 소비자 환경에서는 사용할 수 없습니다. KTransformers는 CPU와 GPU 간에 계산을 분할하고, 자주 사용되는 '핫' 전문가를 GPU에 배치하고 나머지를 CPU로 오프로드하여, 고도로 최적화된 커널을 사용하여 CPU 실행 속도를 충분히 빠르게 유지함으로써 이 문제를 해결합니다.
관련
- 프로젝트
guqiong96/LvllmNUMA 인식 스케줄링을 사용해 CPU와 GPU 메모리를 가로지르는 대규모 MoE 모델을 실행할 수 있도록 vLLM과 lk_moe를 통합한 솔루션
- 프로젝트
ztxz16/fastllm로컬 및 서버 배포를 위해 설계된 고성능 LLM 추론 엔진으로, 혼합 장치 실행(GPU/CPU/디스크) 및 추측적 디코딩과 같은 고급 최적화 기술을 지원합니다.
- Dispatch
전문가 혼합(MoE) 설명전문가 혼합(MoE)은 트랜스포머 모델이 매 토큰마다 신경망 전문가의 일부만 활성화함으로써 파라미터를 확장하면서도 효율적인 사전 학습과 더 빠른 추론을 유지하도록 합니다.
- 프로젝트
Helldez/BigMoeOnEdge기기의 RAM보다 큰 Mixture-of-Experts 모델을 플래시 스토리지에서 전문가를 스트리밍하여 실행할 수 있게 하는 런타임 엔진으로, 거대한 LLM을 스마트폰과 CPU에서 실행할 수 있게 한다.
- 프로젝트
Soulmate-Halo/heterogeneous-gpu-pd-lab이 저장소는 대규모 mixture‑of‑experts (MoE) LLM(예: Qwen‑3.8‑Flash‑Next, DeepSeek‑V4.1‑Flash)의 이기종 GPU 추론을 위한 Docker 이미지, 배포 가이드 및 원시 벤치마크 데이터를 제공하는 실제 소프트웨어 프로젝트입니다. 서로 다른 GPU 유형(RTX 3080, RTX 6000D, DGX Spark, AI Max 395) 간에 프리필과 디코드를 분할하는 방법을 보여주며, 최대 16 k tok/s의 프리필 속도와 약 442 tok/s의 디코드 속도를 포함한 튜닝되지 않은 성능 수치를 보고합니다.