ztxz16/fastllm

FastLLM – 고성능 로컬 LLM 추론 엔진

정의 – FastLLM은 단일 머신에서 대규모 언어 모델(LLM)을 실행하거나 서비스로 노출할 수 있는 C++ 기반 런타임입니다. PyTorch에 의존하지 않으며, 대신 CUDA, ROCm, CPU, NUMA용 자체 커널을 제공하고 모델의 일부를 SSD에 배치할 수도 있습니다. 이 프로젝트는 CLI, 웹 UI, OpenAI 호환 API 서버를 제공하는 Python 패키지(ftllm)를 제공합니다.

주요 기능

기능	의미
빠른 모델 온보딩	최근 중국산 모델(Qwen‑4‑Exp, Qwen‑3.8‑Flash‑Next, DeepSeek‑V4, Kimi‑K3, GLM‑5 등)을 즉시 지원합니다.
Mixture‑of‑Experts(MoE) 및 하이브리드 배포	일반 레이어는 GPU에서 실행하고 전문가 레이어는 CPU, NUMA 메모리 또는 디스크에 배치할 수 있어 GPU 메모리가 제한된 머신에서도 매우 큰 모델을 실행할 수 있습니다.
멀티 GPU 텐서 병렬 처리	홀수 개수를 포함한 모든 수의 GPU에서 작동하며 사용 가능한 장치를 자동 감지할 수 있습니다(--tp auto).
추측 디코딩	MTP, DSpark, DFlash2를 내장 지원 – 생성 속도를 높이기 위해 사전에 "초안" 토큰을 생성하는 기술입니다.
광범위한 정밀도 지원	FP16, BF16, FP8, INT4, K‑Quant, AWQ, GGUF 등을 지원하며 dtype을 자동 선택합니다(--dtype auto).
OpenAI 호환 API	/v1/chat/completions, /v1/completions, Anthropic 스타일 엔드포인트를 제공하며 스트리밍, 도구 호출, 사용자 정의 샘플링 매개변수를 지원합니다.
확장 가능한 백엔드	핵심 커널은 C++/CUDA이지만 Triton 연산, 사용자 정의 Python 모델 그래프 또는 기타 가속기를 플러그인할 수 있습니다.

일반적인 워크플로우

1. 설치 – pip install -U ftllm(Linux/Windows GPU, ROCm용 사전 빌드 휠 또는 기타 하드웨어용 소스 빌드). Windows에서는 추가 종속성 휠이 필요할 수 있습니다.
2. 스모크 테스트 – ftllm run Qwen/Qwen3-0.6B는 작은 테스트 모델을 다운로드하고 단일 추론을 실행합니다.
3. 서비스 시작 – ftllm server <model>은 OpenAI 호환 서버를 시작합니다(기본값 0.0.0.0:8080).
4. 선택적 UI – ftllm webui --api_base http://127.0.0.1:8080/v1 또는 간단히 ftllm launch를 사용하면 브라우저 기반 "Launcher"가 열리며 모델 다운로드, 하드웨어 설정 조정, 에이전트 관리도 지원합니다.
5. 모델 호출 – /v1/chat/completions 엔드포인트에 표준 curl 요청을 보냅니다.

성능 튜닝 방법(README의 예시)

• 텐서 병렬 처리: --tp 0,1 또는 --tp auto.
• 하이브리드 MoE: --device cuda --moe_device numa 또는 --moe_device "{'cuda':1,'numa':8,'disk':1}"도 가능.
• 컨텍스트 길이: --max_context_length 65536과 RoPE 스케일링 JSON을 함께 사용하여 창을 안전하게 확장합니다.
• 추측 디코딩: --mtp 4(MTP 초안 토큰) 또는 외부 체크포인트용 --draft /path/to/draft --draft_tokens 5.
• 캐시 제어: --kv_cache_dtype fp4, --gpu_mem_ratio 0.9, --tokens 1000000으로 대규모 KV 캐시를 처리합니다.

문서 및 커뮤니티

• 모델별 상세 배포 가이드(Qwen, DeepSeek, Kimi, GLM, Laguna 등).
• 모델별 벤치마크 테이블(TTFT, prefill, decode 처리량).
• 사용자와 개발자를 위한 QQ/WeChat 커뮤니티.
• Apache‑2.0 라이선스, Issues 및 PR을 통한 기여를 환영합니다.

결론 – FastLLM은 PyTorch 없이 로컬에서 실행되는 프로덕션 준비가 된 고처리량 LLM 추론 엔진입니다. MoE 혼합, 추측 디코딩과 같은 고급 기능을 지원하며, 일반 하드웨어에서 대규모 모델을 서비스해야 하는 개발자와 연구자에게 전체 스택(CLI, 웹 UI, OpenAI 호환 API)을 제공합니다.