flashrt-project/FlashRT

해결하는 문제

FlashRT는 실시간 응답이 중요한 소규모 배치, 지연 시간에 민감한 AI 워크로드를 위해 설계되었습니다. NVIDIA GPU, AMD GPU, Ascend NPU를 포함한 다양한 하드웨어에서 저지연 실행을 위해 특별히 조정된 고성능 엔진을 제공하여 표준 추론 프레임워크의 성능 병목 현상을 해결합니다.

작동 방식

FlashRT는 여러 최적화 기술을 통해 속도를 구현합니다.

• 수제 커널: 특정 하드웨어 백엔드(CUDA, HIP, AscendC)에 맞게 조정된 어텐션, GEMM, 정규화, 양자화 커널.
• 정적 실행: 안정적인 버퍼에서 정적 그래프 실행(CUDA/HIP/NPU 그래프)을 사용하여 런타임 오버헤드를 제거합니다.
• 양자화: 자동 텐서별 보정 기능을 갖춘 프로덕션 준비 FP8(E4M3) 및 NVFP4를 구현합니다.
• 계층 간 융합: 여러 연산을 결합하여 메모리 액세스 및 계산 오버헤드를 줄입니다.
• 직접 로드: 별도의 컴파일 또는 내보내기 단계 없이 safetensors 또는 Orbax 체크포인트를 직접 로드합니다.
• FlashRT Structures: 호스트 소스 코드를 수정하지 않고 커널 카탈로그를 수정되지 않은 PyTorch 호스트(예: transformers 또는 diffusers)에 연결할 수 있는 플러그인 시스템.

대상 사용자

주로 다음 분야의 개발자와 연구자를 대상으로 합니다.

• 로보틱스: 특히 Pi0, GROOT, LingBot과 같은 모델의 VLA(비전-언어-행동) 제어.
• 실시간 AI 에이전트: 최소 지연 시간으로 단일 스트림 LLM 또는 VLM 추론이 필요한 애플리케이션.
• 엣지 배포: Jetson AGX Thor 또는 RTX 5090과 같은 하드웨어에 배포하는 사용자.
• 오디오/비디오 생성: 실시간 TTS(Higgs Audio) 또는 비디오 정책 경로(Wan2.2).

주요 특징

• 멀티 하드웨어 지원: NVIDIA, AMD(MI300X/MI350X 포함), Ascend NPU용 네이티브 백엔드.
• 극도로 낮은 지연 시간: torch.compile 및 eager 모드보다 상당한 속도 향상, 특히 Jetson Thor의 VLA 모델에서 두드러짐.
• 원활한 통합: 3줄 API 또는 flashrt-structures 패키지를 통해 기존 PyTorch/JAX 파이프라인에 통합할 수 있습니다.
• 광범위한 모델 지원: Qwen3(LLM/VL), Pi0, GROOT를 포함한 다양한 모델에 최적화되어 있습니다.