facebookresearch/optimizers
For optimization algorithm research and development.
해결하는 문제
고성능 기계학습 훈련을 위한 고급 PyTorch 최적화 알고리즘의 컬렉션을 제공합니다. 특히 분산 환경과 효율적인 기울기 평균화에 중점을 둡니다.
작동 방식
이 리포지토리는 PyTorch 워크플로우에 통합할 수 있는 특수 최적화 알고리즘을 구현합니다. 현재는 수렴을 향상시키기 위해 전처리(preconditioning)를 사용하는 Distributed Shampoo와, 훈련 모드와 평가 모드 간 전환 메커니즘을 활용하여 서로 다른 시퀀스 간 기울기 계산을 처리하는 GPA-AdamW(Generalized Primal Averaging)를 포함합니다.
대상 사용자
PyTorch에서 대규모 모델을 훈련할 때 고효율 최적화 알고리즘을 필요로 하는 머신러닝 연구자 및 개발자입니다.
주요 특징
- 최적화된 전처리를 위한 Distributed Shampoo 구현.
- 일반화된 원시 평균을 위한 GPA-AdamW 포함.
- 외부 협업 및 개발을 위한 설계.
- PyTorch와 완전 호환.
관련
- 프로젝트
mosaicml/composerPyTorch 기반 딥러닝 라이브러리로, 대규모 분산 학습을 단순화하고 메모리 최적화 및 알고리즘 가속 도구를 제공하여 학습 시간과 비용을 줄입니다.
- 프로젝트
pytorch/ao모델의 트레이닝과 추론을 가속화하고 메모리 사용량을 줄이기 위한 PyTorch 네이티브 최적화 라이브러리로, 양자화 및 희소성 도구를 제공합니다.
- 프로젝트
pypose/baePyTorch 기반 라이브러리로, 로보틱스의 스파스 문제(예: 버블 조정, 포즈 그래프 최적화)에 대해 정확한 2차 최적화(Levenberg-Marquardt, Schur 보완)를 제공합니다. CUDA 가속, PyPose 통합, torch.compile 지원 기능을 갖추고 있습니다.
- 프로젝트
HomebrewML/HeavyBall컴파일되고 조합 가능한 빌딩 블록을 사용하여 연산을 Triton 커널로 융합함으로써 더 빠른 학습과 더 낮은 메모리 사용량을 제공하는 고성능 PyTorch 최적화 라이브러리.
- 프로젝트
kozistr/pytorch_optimizerPyTorch와 호환되는 라이브러리로, 100개 이상의 연구용 옵티마이저, 여러 학습률 스케줄러 및 손실 함수를 단일하고 일관된 API를 통해 제공하며, 저정밀도 훈련을 위한 선택적 통합 기능을 지원합니다.