tile-ai/TileRT

解决的问题

TileRT 专为超低延迟 LLM 推理设计，特别针对输出令牌每 token 时间（TPOT）必须最小化的场景。与传统系统侧重高吞吐量批量处理不同，TileRT 优先考虑实时应用（如高频交易、交互式 AI 和长期运行的智能体）的响应速度。

工作原理

TileRT 采用基于 tile 级别的运行时引擎和编译器驱动的方法。它将 LLM 操作分解为细粒度的「tile 级别」任务，并动态调度计算、I/O 和通信在多个设备之间重叠执行。这最大限度减少了硬件空闲时间，提升了利用率。同时支持多令牌预测（MTP），允许模型在单次前向传播中生成多个令牌，从而降低逐次解码的深度。

适用对象

适用于在高端硬件（如 NVIDIA B200 或 AMD Instinct MI350X/MI355X）上部署大规模模型（数百亿参数以上）的开发者和组织，这些用户需要单用户生成时达到毫秒级响应速度。

主要亮点

• 极致性能：在单个 8-GPU 节点上，对 1 万亿参数模型实现每秒超过 1000 个令牌的处理能力。
• 硬件支持：针对 NVIDIA B200 和 AMD Instinct MI350X/MI355X GPU 进行优化。
• MTP 集成：内置多令牌预测（MTP）支持，加速解码速度。
• PD 分离：支持预填充-解码分离，允许 vLLM 处理预填充阶段，而 TileRT 通过 OpenAI 兼容端点管理解码阶段。