microsoft/antares
Antares: an automatic engine for multi-platform kernel generation and optimization. Supporting CPU, CUDA, ROCm, DirectX12, GraphCore, SYCL for CPU/GPU, OpenCL for AMD/NVIDIA, Android CPU/GPU backends.
解決する課題
AutoRT は、ランタイムユーザーが独自のハードウェアアクセラレータを使用して PyTorch のオペレータを作成、ベンチマーク、最適化するのを支援するために設計されたコンパイラソリューションです。CUDA や ROCm などの異なるバックエンド向けにカスタムカーネルを記述するプロセスを簡素化します。
仕組み
AutoRT は、ユーザーがハードウェアアクセラレータの関数とバインディングを定義できるようにするコンパイラとして機能します。ユーザーは CUDA/HIP C++ 17 標準を使用してカーネル本体を記述し、入力と出力を定義するための特定の構文（例: @DEF_FUNC と @DEF_BIND）に従います。
対象者
PyTorch オペレータを最適化し、特定のハードウェアアクセラレータをターゲットにする必要がある開発者およびランタイムユーザー。
ハイライト
- マルチバックエンドサポート: CUDA および ROCm 環境をサポートします。
- C++ 17 標準: カーネル本体は CUDA/HIP C++ 17 標準に従います。
- C++ 17 標準: カーネル本体のカーネルは
autort コマンドを使用して定義および CLI 駆動できます。
- エージェントワークフロー: カーネルの学習と実装に対するエージェントアプローチを提案するチュートリアルが含まれています。
関連
- プロジェクト
pytorch/TensorRTTorch‑TensorRT は、PyTorch モデルをコンパイルして NVIDIA GPU 上で TensorRT の速度で実行できるようにするオープンソースライブラリです。単一行（`torch.compile(..., backend="tensorrt")`）またはエクスポートワークフローを使用して、Python 或 C++ 中載入的序列化模組。它支援 Linux、Windows 和 Jetson，可搭配 CUDA 13.4 + TensorRT 11.3 使用，並可透過 pip 或 NVIDIA 容器安裝。非常適合想要在不離開 PyTorch 生態系統的情況下，為視覺、擴散或 LLM 模型實現快速推論的開發人員。
- プロジェクト
huggingface/accelerateAccelerate は、複数の GPU、TPU、または混合精度でトレーニングスクリプトを実行するためのボイラープレートを排除する、薄い PyTorch ラッパーです。独自のトレーニングループを維持し、数行（Accelerator オブジェクト、prepare() 呼び出し、accelerator.backward()）を追加するだけです。オプションの CLI（accelerate config / accelerate launch）とノートブックランチャーも提供します。CPU、シングル/マルチ GPU、マルチ CPU、TPU、FP16/BF16/FP8 混合精度、および実験的な DeepSpeed、FSDP、Megatron-LM をサポートします。分散セットアップの手間をかけずにトレーニングループを制御したい場合は使用してください。完全に高レベルなフレームワークが必要な場合はスキップしてください。Python 3.11+ と PyTorch 2.6.0+ が必要です。pip install accelerate でインストールします。
- プロジェクト
pytorch/benchmarkPyTorch Benchmarks は、BERT、ResNet、Stable Diffusionなど人気のあるディープラーニングモデルの標準化・軽量版のコレクションであり、異なるPyTorchビルド、CUDAバージョン、バックエンドのパフォーマンスを測定するために実行できます。均一なAPI、インストールスクリプト、複数のランナー（シンプルテスト、pytest-benchmark、カスタムユーザーベンチマーク）に加え、AWS g4dn.metalインスタンスでの低ノイズチューニング用のユーティリティも提供しています。
- プロジェクト
pypose/baebaeは、ロボティクスにおけるバンドル調整（Bundle Adjustment）やポーズグラフ最適化（Pose Graph Optimization）のための、効率的かつ正確な二次スパース最適化アルゴリズムを提供するPyTorchライブラリです。CUDAアクセラレーションを活用し、PyTorchのautogradと統合することで、高性能な非線形最小二乗問題を解決します。
- プロジェクト