basetenlabs/truss

해결하는 문제

Truss는 AI/ML 모델을 개발 단계에서 본격적인 운영 환경으로 이동하는 과정을 간소화합니다. 개발자가 수동으로 컨테이너화, Dockerfile 생성, Kubernetes 구성, GPU 설정을 처리할 필요가 없어지며, 이는 일반적으로 확장 가능한 모델 API를 배포하는 데 있어 복잡하고 시간이 오래 걸리는 장벽이었습니다.

작동 방식

Truss는 모델 서빙 로직, 가중치, 종속성 등을 표준화된 형식으로 패키징하는 CLI를 제공합니다. 사용자는 config.yaml 파일을 통해 하드웨어(예: L4 GPU)와 추론 엔진(예: TensorRT-LLM)을 지정하여 모델을 배포할 수 있습니다. transformers, diffusers, PyTorch, TensorFlow 등 다양한 프레임워크를 지원하며, vLLM 및 SGLang과 같은 최적화된 엔진도 포함됩니다. Baseten과 같은 플랫폼에 푸시하면 Truss는 빌드 프로세스(옵션으로 TensorRT 최적화 및 양자화(FP8 등) 포함)를 처리하고 모델을 OpenAI 호환 API 엔드포인트로 변환합니다.

대상 사용자

기반 인프라를 관리하거나 복잡한 컨테이너 오케스트레이션 스크립트를 작성하지 않고도 모델을 본격적인 운영 환경에 배포하고자 하는 머신러닝 엔지니어 및 개발자.

주요 특징

• 프레임워크 독립성: PyTorch, TensorFlow, vLLM 등 거의 모든 Python ML 프레임워크를 지원합니다.
• 제로 설정 컨테이너: 컨테이너화 및 종속성 관리를 자동화하여 Dockerfile 작성 없이도 가능합니다.
• 최적화된 추론: 고성능 서빙을 위한 TensorRT-LLM 통합 지원.
• 개발자 친화적 루프: 개발 중 빠른 반복을 위한 라이브 리로드 기능.
• IDE 지원: 현대적인 에디터에서 자동 완성과 검증을 가능하게 하는 config.yaml용 JSON 스키마 제공.