tile-ai/TileRT

해결하는 문제

TileRT는 출력 토큰당 시간(TPOT)을 최소화해야 하는 초저지연 LLM 추론을 위한 것입니다. 기존 시스템이 고처리량 배치 처리에 집중하는 반면, TileRT는 고빈도 거래, 인터랙티브 AI, 장시간 실행 에이전트와 같은 실시간 애플리케이션의 응답성을 최우선으로 합니다.

작동 방식

TileRT는 타일 수준의 런타임 엔진과 컴파일러 기반 접근 방식을 사용합니다. LLM 연산자를 세밀한 '타일 수준' 작업으로 분해하고, 여러 장치 간에 계산, I/O, 통신을 동적으로 재스케줄링하여 이 작업들을 겹치게 합니다. 이를 통해 하드웨어의 대기 시간을 최소화하고 활용도를 향상시킵니다. 또한 멀티 토큰 예측(MTP)을 지원하여 모델이 단일 순방향 전파에서 여러 토큰을 생성함으로써 순차적 디코딩 깊이를 줄일 수 있습니다.

대상 사용자

수백억 파라미터 이상의 대규모 모델을 NVIDIA B200 또는 AMD Instinct MI350X/MI355X와 같은 고성능 하드웨어에서 배포하고, 단일 사용자 생성에 대해 밀리초 수준의 응답성을 요구하는 개발자 및 조직을 대상으로 합니다.

주요 특징

• 극한의 성능: 단일 8GPU 노드에서 1조 파라미터 모델에 대해 초당 1000토큰 이상을 처리할 수 있습니다.
• 하드웨어 지원: NVIDIA B200 및 AMD Instinct MI350X/MI355X GPU에 최적화되어 있습니다.
• MTP 통합: 디코딩 속도를 가속화하기 위해 멀티 토큰 예측(MTP)을 내장 지원합니다.
• PD 분리: 프리필-디코딩 분리를 지원하며, vLLM이 프리필 단계를 처리하고 TileRT가 OpenAI 호환 엔드포인트를 통해 디코딩 단계를 관리합니다.