jamjamjon/usls

解决的问题

usls 是一个跨平台的 Rust 库，专为高效推理状态最先进（SOTA）的视觉和视觉-语言模型而设计，特别针对通常在 10 亿参数以下的模型。

工作原理

它利用 ONNX Runtime 提供统一的模型推理 API。该库包含完整的工具套件，包括 DataLoader、Annotator 和 Viewer，可处理完整的工作流程。支持多种执行提供者（如 CUDA、TensorRT、CoreML 和 OpenVINO）以及多种精度格式（FP32、FP16、INT8、Q4 等），以在不同硬件上优化性能。

适用人群

希望在 Linux、macOS 和 Windows 上的 Rust 应用中集成高性能视觉和视觉-语言模型的开发者。

主要亮点

• 丰富的模型库：支持超过 50 个 SOTA 模型，涵盖目标检测（YOLO 系列、RT-DETR）、图像分割（SAM、FastSAM）、姿态估计和 OCR 等任务。
• 高性能：利用多线程、SIMD 和 CUDA 加速。
• 跨平台支持：通过 ONNX Runtime 兼容主流操作系统和硬件加速器。
• 自动化管理：自动处理从 HuggingFace/GitHub 下载模型、缓存和路径解析。
• 灵活的输入支持：支持图像、目录、视频、网络摄像头和流媒体。