microsoft/antares
Antares: an automatic engine for multi-platform kernel generation and optimization. Supporting CPU, CUDA, ROCm, DirectX12, GraphCore, SYCL for CPU/GPU, OpenCL for AMD/NVIDIA, Android CPU/GPU backends.
해결하는 문제
AutoRT는 런타임 사용자가 자신의 하드웨어 가속기를 사용하여 PyTorch용 연산자를 생성, 벤치마크 및 최적화할 수 있도록 돕기 위해 설계된 컴파일러 솔루션입니다. CUDA 및 ROCm과 같은 다양한 백엔드에 대한 사용자 정의 커널 작성 프로세스를 간소화합니다.
작동 방식
AutoRT는 사용자가 하드웨어 가속기에 대한 함수 및 바인딩을 정의할 수 있도록 하는 컴파일러로 작동합니다. 사용자는 CUDA/HIP C++ 17 표준을 사용하여 커널 본문을 작성하고, 입력 및 출력 정의를 위한 특정 구문(예: @DEF_FUNC 및 @DEF_BIND)을 따를 수 있습니다.
대상 독자
PyTorch 연산자를 최적화하고 특정 하드웨어 가속기를 타겟으로 해야 하는 개발자 및 런타임 사용자.
주요 기능
- 다중 백엔드 지원: CUDA 및 ROCm 환경을 지원합니다.
- C++ 17 표준: 커널 본문은 CUDA/HIP C++ 17 표준을 따릅니다.
- C++ 17 표준: 커널 본문의 커널은
autort 명령을 통해 정의되고 CLI로 구동될 수 있습니다.
- 에이전트 워크플로우: 커널 학습 및 구현에 대한 에이전트 접근 방식을 제안하는 튜토리얼이 포함되어 있습니다.
관련
- 프로젝트
pytorch/TensorRTTorch‑TensorRT는 NVIDIA GPU에서 TensorRT 속도로 실행되도록 모든 PyTorch 모델을 컴파일할 수 있게 해주는 오픈 소스 라이브러리입니다. 한 줄(`torch.compile(..., backend="tensorrt")`) 또는 내보내기 워크플로우를 사용하여 Python 또는 C++에서 로드할 수 있는 직렬화된 모듈을 생성할 수 있습니다. Linux, Windows 및 Jetson을 지원하며 CUDA 13.4 + TensorRT 11.3과 호환되고 pip 또는 NVIDIA 컨테이너를 통해 설치할 수 있습니다. PyTorch 생태계를 벗어나지 않고 비전, diffusion 또는 LLM 모델에 대한 빠른 추론을 원하는 개발자에게 이상적입니다.
- 프로젝트
huggingface/accelerateAccelerate는 여러 GPU, TPU 또는 혼합 정밀도에서 훈련 스크립트를 실행하기 위한 보일러플레이트를 제거하는 얇은 PyTorch 래퍼입니다. 자신의 훈련 루프를 유지하고 몇 줄(Accelerator 객체, prepare() 호출, accelerator.backward())만 추가하면 됩니다. 또한 선택적 CLI(accelerate config / accelerate launch)와 노트북 런처를 제공합니다. CPU, 단일/다중 GPU, 다중 CPU, TPU, FP16/BF16/FP8 혼합 정밀도, 그리고 실험적인 DeepSpeed, FSDP, Megatron-LM을 지원합니다. 분산 설정의 번거로움 없이 훈련 루프를 제어하려면 사용하세요. 완전히 고수준 프레임워크를 원한다면 건너뛰세요. Python 3.11+ 및 PyTorch 2.6.0+가 필요합니다. pip install accelerate로 설치합니다.
- 프로젝트
pytorch/benchmarkPyTorch Benchmarks 는 BERT, ResNet, Stable Diffusion 등 인기 있는 딥러닝 모델의 표준화되고 가벼운 버전 모음으로, 다양한 PyTorch 빌드, CUDA 버전, 백엔드의 성능을 측정하기 위해 실행할 수 있습니다. 일관된 API, 설치 스크립트, 여러 러너(간단한 테스트, pytest-benchmark, 사용자 정의 사용자 벤치마크)와 함께 AWS g4dn.metal 인스턴스에서 낮은 노이즈 튜닝을 위한 유틸리티도 제공합니다.
- 프로젝트
pypose/baebae는 번들 조정(Bundle Adjustment) 및 포즈 그래프 최적화(Pose Graph Optimization)를 포함하여 로봇 공학을 위한 효율적이고 정확한 2차 희소 최적화 알고리즘을 제공하는 PyTorch 라이브러리입니다. CUDA 가속을 활용하고 PyTorch의 autograd와 통합되어 고성능 비선형 최소 제곱 문제를 해결합니다.
- 프로젝트