jamjamjon/usls

何を解決するか

usls は、10億パラメータ未満の状態最良（SOTA）の視覚および視覚言語モデルの効率的な推論を目的としたクロスプラットフォーム Rust ライブラリです。

動作方法

ONNX Runtime を活用して、モデル推論のための統一 API を提供します。完全なスタックツールセットを含み、DataLoader、Annotator、Viewer を備え、ワークフロー全体を処理できます。CUDA、TensorRT、CoreML、OpenVINO などの幅広い実行プロバイダーと、FP32、FP16、INT8、Q4 など複数の精度形式をサポートし、さまざまなハードウェアでパフォーマンスを最適化します。

対象ユーザー

Linux、macOS、Windows で Rust アプリケーションに高性能な視覚および視覚言語モデルを統合したい開発者。

特徴

• 広範なモデルズー: オブジェクト検出（YOLOシリーズ、RT-DETR）、画像セグメンテーション（SAM、FastSAM）、ポーズ推定、OCR などのタスクで50以上のSOTAモデルをサポート。
• 高いパフォーマンス: マルチスレッド、SIMD、CUDAアクセラレーションを活用。
• クロスプラットフォーム対応: ONNX Runtime を介して主要なOSおよびハードウェアアクセラレータと互換性あり。
• 自動管理: HuggingFace/GitHub からのモデルダウンロード、キャッシュ、パス解決を自動で処理。
• 柔軟な入力: 画像、ディレクトリ、動画、Webカメラ、ストリームをサポート。