lightseekorg/tokenspeed

解決する課題

TokenSpeed は、エージェントワークロードに特化して最適化された高性能な LLM 推論を提供するために設計されています。TensorRT-LLM の圧倒的な速度と vLLM の使いやすさを融合させ、AI エージェント特有の要求を処理できる本番環境対応エンジンのニーズに応えます。

仕組み

TokenSpeed は、コントロールプレーンと実行プレーンを分離する独自のアーキテクチャを採用しています。

• コントロールプレーン: C++ で実装された有限オートマトン。リクエストのライフサイクルと KV キャッシュの所有権を管理し、型システムを使用してコンパイル時に安全なリソース管理を保証します。
• 実行プレーン: Python で実装されており、研究者やエンジニアが迅速に反復開発を行えるようにしています。
• カーネルシステム: ポータブルなパブリック API と集中管理されたレジストリを備えたモジュール式でプラグイン可能なシステム。Blackwell GPU 向けに高度に最適化された Multi-head Latent Attention (MLA) 実装を含みます。
• エントリーポイント: SMG 統合型の AsyncLLM を使用し、低オーバーヘッドで CPU 側のリクエストを処理します。

対象ユーザー

NVIDIA や AMD GPU を含む多様なハードウェア環境において、最大限の推論スループットと低レイテンシを必要とする、本番グレードのエージェントワークロードをデプロイするエンジニアや研究者向けに構築されています。

ハイライト

• 分離型アーキテクチャ: 安全性と速度の両立のため、C++ コントロールプレーンと Python 実行プレーンを分離した初のエンジン。
• モジュール式カーネル: カーネルをファーストクラスのサブシステムとして扱い、異なるアクセラレータ向けに拡張可能なプラグインメカニズムを提供。
• ハードウェアサポート: 非営利団体 LightSeek Foundation の支援を受け、NVIDIA および AMD からのエンジニアリングサポートを提供。
• 高性能: エージェントタスクにおいて高いスループット（例：Qwen3.5-397B-A17B で 580 TPS）を実現可能。