jamjamjon/usls

解決的問題

usls 是一個跨平台的 Rust 庫，專為高效推理狀態最優（SOTA）的視覺與視覺-語言模型而設計，特別針對通常低於 10 億參數的模型。

工作原理

它利用 ONNX Runtime 提供統一的模型推理 API。該庫包含完整的工具套件，包括 DataLoader、Annotator 和 Viewer，可處理完整的工作流程。支援多種執行提供者（如 CUDA、TensorRT、CoreML 和 OpenVINO）以及多種精度格式（FP32、FP16、INT8、Q4 等），以在不同硬體上優化效能。

適用對象

希望在 Linux、macOS 和 Windows 上的 Rust 應用中整合高效率視覺與視覺-語言模型的開發者。

主要亮點

• 豐富的模型庫：支援超過 50 個 SOTA 模型，涵蓋物件偵測（YOLO 系列、RT-DETR）、影像分割（SAM、FastSAM）、姿態估計與 OCR 等任務。
• 高效率：利用多執行緒、SIMD 與 CUDA 加速。
• 跨平台支援：透過 ONNX Runtime 兼容主要作業系統與硬體加速器。
• 自動化管理：自動處理從 HuggingFace/GitHub 下載模型、快取與路徑解析。
• 彈性輸入支援：支援影像、目錄、影片、網路鏡頭與串流。