jamjamjon/usls

해결하는 문제

usls는 일반적으로 10억 파라미터 미만인 최첨단(SOTA) 비전 및 비전-언어 모델의 효율적인 추론을 위한 크로스플랫폼 Rust 라이브러리입니다.

작동 방식

ONNX Runtime을 활용하여 모델 추론을 위한 통합 API를 제공합니다. DataLoader, Annotator, Viewer를 포함한 완전한 스택 도구 세트를 통해 전체 워크플로우를 처리할 수 있습니다. CUDA, TensorRT, CoreML, OpenVINO 등의 다양한 실행 제공자와 FP32, FP16, INT8, Q4 등 다양한 정밀도 형식을 지원하여 다양한 하드웨어에서 성능을 최적화합니다.

대상 사용자

Linux, macOS, Windows에서 Rust 애플리케이션에 고성능 비전 및 비전-언어 모델을 통합하고자 하는 개발자들입니다.

주요 특징

• 풍부한 모델 자료庫: 객체 탐지(YOLO 시리즈, RT-DETR), 이미지 세그멘테이션(SAM, FastSAM), 자세 추정, OCR 등 다양한 작업에서 50개 이상의 SOTA 모델을 지원합니다.
• 고성능: 멀티스레딩, SIMD, CUDA 가속을 활용합니다.
• 크로스플랫폼 지원: ONNX Runtime을 통해 주요 OS 및 하드웨어 가속기와 호환됩니다.
• 자동 관리: HuggingFace/GitHub에서 모델을 자동으로 다운로드하고 캐싱 및 경로 해석을 자동으로 처리합니다.
• 유연한 입력: 이미지, 디렉터리, 동영상, 웹캠, 스트림을 모두 지원합니다.