lightseekorg/tokenspeed

해결 과제

TokenSpeed는 에이전트 워크로드에 특화되어 최적화된 고성능 LLM 추론을 제공하도록 설계되었습니다. TensorRT-LLM의 압도적인 속도와 vLLM의 사용 편의성을 결합하여, AI 에이전트의 특정 요구 사항을 처리할 수 있는 프로덕션급 엔진에 대한 수요를 해결합니다.

작동 원리

TokenSpeed는 제어 평면과 실행 평면을 분리하는 독특한 아키텍처를 사용합니다:

• 제어 평면 (Control Plane): C++로 구현된 유한 상태 머신입니다. 요청 수명 주기와 KV 캐시 소유권을 관리하며, 타입 시스템을 사용하여 컴파일 타임에 안전한 리소스 관리를 보장합니다.
• 실행 평면 (Execution Plane): Python으로 구현되어 연구자와 엔지니어가 빠르게 반복 개발할 수 있도록 합니다.
• 커널 시스템 (Kernel System): 이식 가능한 공개 API와 중앙 집중식 레지스트리를 갖춘 모듈식 플러그인 시스템으로, Blackwell GPU에 최적화된 Multi-head Latent Attention (MLA) 구현을 포함합니다.
• 진입점 (Entrypoint): SMG 통합 AsyncLLM을 사용하여 낮은 오버헤드로 CPU 측 요청을 처리합니다.

대상 사용자

NVIDIA 및 AMD GPU를 포함한 다양한 하드웨어에서 최대 추론 처리량과 낮은 지연 시간을 요구하는 프로덕션급 에이전트 워크로드를 배포하는 엔지니어와 연구자를 위해 구축되었습니다.

주요 특징

• 분리형 아키텍처: 안전성과 속도를 모두 잡기 위해 C++ 제어 평면과 Python 실행 평면을 분리한 최초의 엔진입니다.
• 모듈식 커널: 커널을 일급 서브시스템으로 취급하며, 다양한 가속기를 위한 확장 가능한 플러그인 메커니즘을 제공합니다.
• 하드웨어 지원: 비영리 단체인 LightSeek Foundation의 지원을 받으며, NVIDIA와 AMD의 엔지니어링 지원을 포함합니다.
• 고성능: 에이전트 작업에서 높은 처리량(예: Qwen3.5-397B-A17B에서 580 TPS)을 달성할 수 있습니다.