flashrt-project/FlashRT

解决的问题

FlashRT 专为小批量、低延迟的 AI 工作负载设计，实时响应至关重要。它通过提供一个高性能引擎，针对多种硬件（包括 NVIDIA GPU、AMD GPU 和 Ascend NPU）的低延迟执行进行特别调整，解决了标准推理框架的性能瓶颈。

运作方式

FlashRT 通过多种优化技术实现高速运算：

• 手写 Kernel：针对特定硬件后端（CUDA、HIP、AscendC）调整的注意力、GEMM、归一化和量化 kernel。
• 静态执行：使用静态图执行（CUDA/HIP/NPU 图）搭配稳定缓冲区，消除运行时开销。
• 量化：实现生产就绪的 FP8 (E4M3) 和 NVFP4，并自动进行逐张量校准。
• 跨层融合：结合多个运算以减少内存访问和计算开销。
• 直接加载：直接加载 safetensors 或 Orbax 检查点，无需额外的编译或导出步骤。
• FlashRT Structures：一个插件系统，允许将 kernel 目录附加到未修改的 PyTorch 主机（如 transformers 或 diffusers），而无需修改主机的源代码。

适用对象

主要适用于以下领域的开发者和研究人员：

• 机器人：特别是 Pi0、GROOT 和 LingBot 等模型的 VLA（视觉-语言-动作）控制。
• 实时 AI 代理：需要单流 LLM 或 VLM 推理且延迟最低的应用。
• 边缘部署：在 Jetson AGX Thor 或 RTX 5090 等硬件上部署的用户。
• 音频/视频生成：实时 TTS（Higgs Audio）或视频策略路径（Wan2.2）。

亮点

• 多硬件支持：原生支持 NVIDIA、AMD（包括 MI300X/MI350X）和 Ascend NPU。
• 极低延迟：相较于 torch.compile 和 eager 模式，显著加速，特别是在 Jetson Thor 上的 VLA 模型。
• 无缝集成：可通过 3 行 API 或 flashrt-structures 包集成到现有的 PyTorch/JAX 流程中。
• 广泛模型支持：针对多种模型优化，包括 Qwen3 (LLM/VL)、Pi0 和 GROOT。