huggingface/optimum
🚀 Accelerate inference and training of 🤗 Transformers, Diffusers, TIMM and Sentence Transformers with easy to use hardware optimization tools
What it solves
Optimum は、特定のハードウェアアクセラレータ上で AI モデルを訓練・実行するプロセスを簡素化し、ユーザーが複雑なハードウェア固有の最適化を手動で行う必要なく、最大効率を実現します。Transformers、Diffusers、TIMM、Sentence‑Transformers などのライブラリ機能を拡張します。
How it works
Optimum は最適化レイヤーとして機能し、モデルのエクスポート、量子化、各種エコシステムでの実行ツールを提供します。以下のハードウェアバックエンド向けに、専用ラッパーと統合を提供します。
- Inference Engines: ONNX Runtime、OpenVINO、ExecuTorch、NVIDIA TensorRT‑LLM、AWS Inferentia をサポート。
- Training Wrappers: Intel Gaudi（HPU）や AWS Trainium などのハードウェア向けに、Transformers Trainer の加速訓練ラッパーを提供。
- Quantization: API またはコマンドラインで Quanto を使用した PyTorch の量子化ツール。
Who it’s for
対象ハードウェア（エッジデバイス、GPU、NPU、専用 AI アクセラレータ）で AI モデルを本番環境にデプロイする必要がある開発者や ML エンジニア、そして訓練パイプラインを高速化したい人向けです。
Highlights
- Broad Hardware Support: NVIDIA、Intel（OpenVINO、Gaudi）、AMD、AWS（Trainium、Inferentia）、FuriosaAI と統合。
- Seamless Export: ONNX や ExecuTorch などのフォーマットへのモデルエクスポートが容易。
- Unified Interface: Python API またはコマンドラインインターフェースを通じて、Hugging Face エコシステムのモデルを一貫した方法で最適化・実行。
- Accelerated Training: 高性能ハードウェアを用いたモデル訓練とファインチューニングをシンプルに。