flashrt-project/FlashRT

解決する課題

FlashRT は、リアルタイム応答が重要となる小バッチ、レイテンシー重視の AI ワークロード向けに設計されています。NVIDIA GPU、AMD GPU、Ascend NPU など多様なハードウェアでの低レイテンシー実行に特化した高性能エンジンを提供することで、標準的な推論フレームワークのパフォーマンスボトルネックを解決します。

仕組み

FlashRT は、以下の最適化技術により高速化を実現しています。

• 手書きカーネル: 特定のハードウェアバックエンド（CUDA、HIP、AscendC）向けに調整された、アテンション、GEMM、正規化、量子化のカーネル。
• 静的実行: 安定したバッファ上で静的グラフ実行（CUDA/HIP/NPU グラフ）を使用し、実行時オーバーヘッドを排除。
• 量子化: 自動のテンソル単位キャリブレーションを備えた本番対応 FP8 (E4M3) および NVFP4 を実装。
• クロスレイヤーフュージョン: 複数の操作を組み合わせてメモリアクセスと計算オーバーヘッドを削減。
• 直接ロード: 別途コンパイルやエクスポートの手順を必要とせず、safetensors または Orbax チェックポイントを直接ロード。
• FlashRT Structures: カーネルカタログを、変更されていない PyTorch ホスト（transformers や diffusers など）に、ホストのソースコードを変更せずにアタッチできるプラグインシステム。

対象ユーザー

主に以下の分野の開発者や研究者を対象としています。

• ロボティクス: 特に Pi0、GROOT、LingBot などのモデルの VLA（視覚-言語-動作）制御。
• リアルタイム AI エージェント: 最小レイテンシーでシングルストリームの LLM または VLM 推論を必要とするアプリケーション。
• エッジ展開: Jetson AGX Thor や RTX 5090 などのハードウェアに展開するユーザー。
• オーディオ/ビデオ生成: リアルタイム TTS（Higgs Audio）やビデオポリシーパス（Wan2.2）。

ハイライト

• マルチハードウェアサポート: NVIDIA、AMD（MI300X/MI350X を含む）、Ascend NPU 向けのネイティブバックエンド。
• 極めて低いレイテンシー: torch.compile や eager モードと比較して大幅な高速化。特に Jetson Thor 上の VLA モデルで顕著。
• シームレスな統合: 3 行の API または flashrt-structures パッケージを使用して、既存の PyTorch/JAX パイプラインに統合可能。
• 幅広いモデルサポート: Qwen3 (LLM/VL)、Pi0、GROOT など、幅広いモデル向けに最適化。