추론 프론티어: 10× 더 빠른 모델에서 자기 최적화 AI까지 — Baseten 토크 요약

200 K‑토큰 프롬프트 처리

200 000‑토큰 요청이 도착하면 시스템은 먼저 프롬프트(또는 일부)가 이전에 나타났는지 확인하여 캐시된 KV 캐시를 재사용할 수 있는지 확인합니다. 그렇지 않으면 요청을 프리필 워커로 라우팅하여 KV 캐시를 생성하고 첫 번째 토큰을 반환한 후, 캐시를 별도의 GPU 세트로 전달하여 디코딩을 수행합니다.

캐시 인식 라우팅 및 디스 aggregated 프리필/디코드

캐시 인식 라우팅은 사용 가능한 프리필 워커가 있는 인스턴스를 선택하고, 이상적으로는 일부 캐시된 입력을 가지고 있어 적어도 일부 토큰에 대해 프리필을 건너뛸 수 있도록 합니다. 프리필과 디코드를 분리한다는 것은 한 세트의 GPU가 입력을 처리하고 KV 캐시를 구축하는 데 전념하고, 다른 세트가 디코드를 실행하여 토큰을 반복적으로 생성한다는 의미입니다.

추측 디코드

작은 추측 모델은 몇 초의 초격렬 순전파를 실행하여 여러 토큰을 예측하고, 메인 모델은 단일 순전파로 이러한 예측을 검증합니다. 수락된 추측 토큰은 사용자에게 스트리밍되어 디코드 지연을 줄입니다. 추측 모델은 트래픽에 특화되어 있으며, 코딩 워크로드에서는 초안 토큰 수용률이 높습니다.

양자화 및 오류 상쇄

양자화는 손실이 있지만 속도가 향상됩니다. 주요 손실 최적화는 양자화이며, fidelity를 유지하려면 양자화할 레이어를 선택하고 이상치를 유지하도록 보정해야 합니다. 양자화 오류는 서로 상쇄될 수 있습니다: 특정 레이어를 양자화하면 다른 레이어의 오류를 상쇄하는 오류가 발생하여 fewer 레이어를 양자화한 모델보다 더 높은 fidelity를 가진 모델을 얻을 수 있습니다.これにより、NVFP4において他の量子化バージョンと比較して品質を維持または向上させながらスループットを20％向上させることができます。

10× 더 빠른 추론 달성

최적화 없이 1조 파라미터 모델의 기준이 약 30~40 토큰/초인 상황에서, 양자화(단계당 약 30‑40 % 향상), 2× 추측 모델, 분리된 프리필/디코드(약 2×), 더 나은 커널/런타임을 결합하면 8× 이상의 향상을 얻을 수 있습니다. 충분한 트래픽과 하드웨어가 있다면 naive 배포 대비 20 %, 100 %, 심지어 200 %의 성능 향상이 가능하며, 종단간 속도 향상은 최대 10×까지 달성할 수 있습니다.

NVIDIA Dynamo 및 KV‑인식 라우팅

Dynamo는 클러스터 전반에 KV 캐시를 이동시키는 오픈소스 NVIDIA 라이브러리이며, 개발자 툴킷이지 즉시 사용 가능한 최적화 도구는 아닙니다. KV‑인식 라우팅은 Dynamo를 사용하여 KV 캐시가 필요한 위치에 배치하여 분리된 아키텍처를 지원하고 노드 간 캐시 전송으로 인한 지연을 줄입니다.

모델 병렬성, 자동 튜닝 및 메가 커널

텐서 병렬성은 고대역폭 인터커넥트가 필요한 GPU 간에 모델을 샤딩합니다. 전문가 병렬성은 각 GPU에 전체 전문가를 배치하고 복제된 라우터를 사용하여 inter‑GPU 통신을 줄입니다. 파이프라인 병렬성은 단일 노드 메모리를 초과하는 모델에만 사용되며, 이로 인해 멀티노드 분할이 강제됩니다. 자동 튜닝은 스레드 수, 공유 메모리, 병렬성 구성을 탐색하여 실증적으로 최적의 레이턴시/처리량 트레이드오프를 찾습니다. 메가 커널(많은 작업을 융합)은 작성하기 어렵고, 런치 오버헤드와 최적화 손실이 이점을 상쇄하여 종종 모듈형 커널보다 느립니다.

하드웨어 트렌드: Rubin, GPU vs. ASIC

미래의 GPU인 Rubin은 CPU‑GPU 및 GPU‑GPU 인터커넥트 속도를 강조하여 KV 캐시 오프로딩 및 시스템 수준 최적화가 더욱 중요해집니다. GPU는 ASIC 같은 텐서 코어와 특수 명령을 갖추고 프로그래밍 가능성을 유지하지만, 모델 가중치를 실리콘에 완전히 구워넣으면 파인튜닝, 양자화, 새로운 체크포인트가 불가능해지므로 순수 ASIC 전환보다는 전문화의 스펙트럼이 더 현실적입니다.

비디오 생성 과제

일관된 장형 비디오 생성은 2차 어텐션 병목 현상에 직면합니다: 16 fps 및 480p에서 nawet 5초의 비디오는 약 35 000 토큰을 포함하며, 더 긴 클립에서는 수백만 토큰에 대한 어텐션이 발생합니다. 이러한 시퀀스에 대한 완전한 어텐션은 불가능하므로 연구는 희소/공간‑시간 어텐션 또는 자기회귀 비디오 모델 쪽으로 향하고 있습니다. 현재 오픈소스 자기회귀 비디오 모델은 품질 drift 문제를 겪고 있으며, 확산 모델은 Veo 또는 Kling과 같은 폐쇄형 대안에 비해 규모가 제한적입니다.

지속적 학습 및 자기 최적화 모델

지속적 학습은 모델 가중치를 업데이트하거나 KV‑캐시 압축을 통해 접근할 수 있는데, 후자는 가중치 변경 없이 지식을 보존하여 추론 시 학습을 가능하게 합니다. GLM‑5.2는 자기 최적화를 보여주었습니다: 자체 추론을 프로파일링하여 병목 커널을 식별하고, 새로운 커널을 작성하여 사이클을 반복했으며, Baseten의 추론 엔진에 사용된 일부 GPU 커널은 GLM‑5.2 자체에서 작성되었습니다. 이는 모델이 자신을 실행하는 인프라를 최적화하는 데 도움을 주는 루프를 보여줍니다.

마무리 생각

추론 공학은 단순히 모델을 빠르게 실행하는 것에서 커널, 하드웨어 인터커넥트, 모델 설계, 지속적 학습을 아우르는 시스템 문제로 진화하고 있습니다. 모델이 커지고 하드웨어가 발전함에 따라, 더 빠른 네트워킹, 더 나은 KV‑캐시 관리, 그리고 자체 서빙 스택을 개선할 수 있는 모델을 통해 추론에서 또 다른 10×, 100×, 1000×를 끌어내는 경주가 계속될 것입니다.