lightseekorg/tokenspeed

解决的问题

TokenSpeed 旨在提供专为代理工作负载优化的高性能 LLM 推理。它结合了 TensorRT-LLM 的原始速度与 vLLM 的易用性，满足了生产环境中处理 AI 代理特定需求的需求。

运作原理

TokenSpeed 在控制平面与执行平面之间采用了独特的架构分离：

• 控制平面 (Control Plane)：以 C++ 实现的有限状态机。它管理请求生命周期与 KV 缓存所有权，并利用类型系统确保编译时期的资源管理安全。
• 执行平面 (Execution Plane)：以 Python 实现，让研究人员与工程师能快速迭代。
• 核心系统 (Kernel System)：一个模块化、可插拔的系统，具有可移植公开 API 与集中式注册表，包含针对 Blackwell GPU 高度优化的 Multi-head Latent Attention (MLA) 实现。
• 入口点 (Entrypoint)：使用 SMG 集成的 AsyncLLM 来处理低开销的 CPU 端请求。

适用对象

专为部署生产级代理工作负载的工程师与研究人员打造，他们需要在包括 NVIDIA 与 AMD GPU 在内的多种硬件上实现最大推理吞吐量与低延迟。

特色亮点

• 分离式架构：首个将 C++ 控制平面与 Python 执行平面分离的引擎，兼顾安全性与开发速度。
• 模块化核心：将核心视为一等公民子系统，并为不同加速器提供可扩展的插件机制。
• 硬件支持：由非营利组织 LightSeek Foundation 支持，并获得 NVIDIA 与 AMD 的工程支持。
• 高性能：针对代理任务可达到高吞吐量（例如在 Qwen3.5-397B-A17B 上达到 580 TPS）。