FlashML-org/FreeToken

FreeToken – 엣지 네이티브 Mixture-of-Experts (MoE) 서빙 엔진

개요 – FreeToken은 게이밍 PC나 노트북과 같은 소비자용 하드웨어에서 매우 큰 Mixture-of-Experts 언어 모델(예: 290B 파라미터 모델)을 실행하기 위한 오픈소스 런타임입니다. CPU, GPU, 호스트 메모리 및 인터커넥트를 단일 탄력적 추론 플랫폼으로 취급하여 데이터 센터 없이도 최첨단 규모의 오픈 웨이트 모델을 서빙할 수 있게 합니다.

주요 기능

• 대역폭 적응형 CPU-GPU 협업 실행 – 커스텀 $q^\star$ 스케줄링 정책이 현재 대역폭에 따라 CPU와 GPU 간에 작업을 이동시켜 추론 속도를 유지합니다.
• 더블 버퍼 프리필 스트리밍 – 모델 레이어를 파이프라인 방식으로 스트리밍하여 긴 프롬프트의 지연 시간을 줄입니다.
• 글로벌 LRU 전문가 캐시 & 의미 인식 체크포인트 – 자주 사용하는 전문가와 KV 캐시 상태를 LRU 캐시에 유지합니다. 의미론적 앵커를 통해 전체 프롬프트를 다시 계산하지 않고도 컨텍스트(도구 호출 등)를 편집할 수 있습니다.
• 탄력적 VRAM 관리 – 엔진은 전문가 가중치와 KV 메모리 간에 GPU 메모리를 즉석에서 재할당할 수 있어 재시작이 필요 없습니다.
• 광범위한 모델 및 형식 지원 – DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2와 같은 오픈 웨이트 MoE 모델에서 작동하며, MXFP4, NVFP4, FP8, BF16과 같은 양자화 형식을 지원합니다.
• API 호환성 – Anthropic/OpenAI 스타일의 엔드포인트를 제공하므로 기존 에이전트(Codex, Claude Code 등)를 수정 없이 그대로 사용하여 엔진을 호출할 수 있습니다.
• 하드웨어 지원 – NVIDIA RTX 30/40/50 시리즈 GPU를 기본 지원하며, GPU가 없는 경우 CPU에서도 실행됩니다.

시작하기

1. 데스크톱 앱 – https://flashml.ai 에서 미리 빌드된 Windows 또는 Linux 패키지를 다운로드하세요. GUI를 통해 모델 로드, 채팅, 런타임 설정 조정이 가능합니다.
2. CLI – 최신 Python 패키지 관리자 uv를 사용하여 설치합니다:

   uv pip install "freetoken[accel]"
   

   또는 소스에서 빌드합니다:

   git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
   uv venv && source .venv/bin/activate
   uv pip install -e ".[accel]"
   

   자세한 내용은 docs/ 폴더의 문서(설치, 퀵스타트, 지원 모델, CLI 참조, 체크포인트 핫픽스)를 참조하세요.

중요성 – 기존의 MoE 서빙은 고속 인터커넥트가 있는 멀티 GPU 클러스터가 필요했습니다. FreeToken은 이러한 기능을 엣지로 가져와 단일 소비자용 기기에서 대화형 AI 애플리케이션(코드 어시스턴트, 도구 호출 에이전트 등)을 낮은 메모리 사용량과 지연 시간으로 실행할 수 있게 합니다.

인용 – 연구에서 이 엔진을 사용하는 경우, 동봉된 arXiv 논문 (arXiv:2608.16157)을 인용하십시오.

감사의 말 – 이 프로젝트는 mini-sglang, vLLM, FlashInfer, LightLLM 및 llama.cpp의 아이디어를 기반으로 구축되었으며 Apache-2.0 라이선스 하에 배포됩니다.