zengxiao-he/tessera

해결하는 문제

Tessera는 모델 증류와 효율적인 추론 사이의 간극을 메우기 위해 설계된 처음부터 구축된 완전한 LLM 스택 구현을 제공합니다. 학습, 커스텀 GPU 가속, 고성능 서빙을 하나의 통합된 코드베이스로 결합하여 엔드투엔드 파이프라인 구축의 복잡성을 해결합니다.

작동 방식

이 프로젝트는 '증류 우선' 워크플로우를 따릅니다. 커스텀 샤딩 학습(FSDP/ZeRO-3)을 사용하여 더 큰 '교사' 모델로부터 더 작은 '학생' 모델을 학습시킵니다. 학습이 완료되면 페이징된 KV 캐싱, 연속 배치 처리, 추측적 디코딩 기능을 갖춘 커스텀 추론 엔진을 사용하여 학생 모델을 배포합니다. 시스템은 성능을 위해 Triton 및 CUDA 커널을 사용하며, HTTP 요청 및 승인 제어를 처리하기 위해 Rust 기반 게이트웨이(PyO3 사용)를 활용합니다.

대상 사용자

이 프로젝트는 거대하고 불투명한 프레임워크에 의존하지 않고 커스텀 GPU 커널, 분산 학습, 고처리량 서빙 아키텍처 등 LLM 시스템의 저수준 메커니즘을 이해하거나 구축하려는 개발자와 연구자를 위한 것입니다.

주요 특징

• 풀스택 구현: 커스텀 Triton/CUDA 커널, FSDP/ZeRO-3 학습, 페이징된 어텐션(paged-attention) 추론 엔진을 포함합니다.
• 고급 서빙: 연속 배치 처리, 추측적 디코딩, 프로덕션 환경을 위한 Rust 기반 API 게이트웨이를 제공합니다.
• 증류 중심: 대규모 교사 모델을 효율적인 소형 학생 모델로 증류하기 위해 특별히 구축되었습니다.
• 검증 우선: PyTorch 결과를 검증하기 위한 JAX/XLA 참조 구현이 포함되어 있으며, 학습 및 추론 구성 요소 간의 수치적 일관성을 보장하기 위한 광범위한 테스트가 포함되어 있습니다.