tile-ai/TileRT

何を解決するか

TileRTは、出力トークンあたりの時間（TPOT）を最小限に抑える必要がある、超低遅延LLM推論を対象として設計されています。従来のシステムが高スループットのバッチ処理に注力するのに対し、TileRTは高頻度取引、インタラクティブAI、長時間実行のエージェントなど、リアルタイムアプリケーションにおける応答性を最優先にしています。

動作方法

TileRTはタイルレベルのランタイムエンジンとコンパイラ駆動アプローチを使用します。LLM演算子を細粒度な「タイルレベル」タスクに分解し、複数デバイス間で計算、I/O、通信を動的に再スケジューリングして、これらの操作を重ね合わせます。これにより、ハードウェアのアイドル時間を最小限に抑え、利用効率を向上させます。また、マルチトークン予測（MTP）をサポートしており、1回のフォワードパスで複数のトークンを生成することで、逐次デコードの深さを削減できます。

対象ユーザー

大規模モデル（数百億パラメータ以上）をNVIDIA B200やAMD Instinct MI350X/MI355Xなどのハイエンドハードウェア上で展開し、単一ユーザーの生成に対してミリ秒レベルの応答性を必要とする開発者や組織向けです。

特徴

• 極めて高いパフォーマンス：単一の8GPUノードで1兆パラメータモデルに対して1秒間に1000トークンを超える処理が可能。
• ハードウェア対応：NVIDIA B200およびAMD Instinct MI350X/MI355X GPUに最適化。
• MTP統合：マルチトークン予測を内蔵し、デコード速度を加速。
• PD非統合：プレフィル-デコードの非統合をサポート。vLLMがプレフィルフェーズを処理し、TileRTがOpenAI互換エンドポイントを介してデコードフェーズを管理。