f-dangel/backpack

BackPACK - a backpropagation package built on top of PyTorch which efficiently computes quantities other than the gradient.

해결하는 문제

BackPACK은 신경망 학습 과정에서 추가 정보를 추출하는 과정을 간소화합니다. 기울기 계산은 표준이지만, 연구자들은 일반적인 PyTorch로는 큰 오버헤드나 수동 작업 없이 구현하기 어려운 메트릭—예를 들어 미니배치 내 개별 샘플의 기울기 또는 기울기 분산—을 자주 필요로 합니다.

작동 방식

PyTorch용 확장으로 구현된 BackPACK은 학습 과정의 역전파 단계를 수정합니다. 이미 역전파 중인 정보를 재사용하여 표준 기울기 이상의 양—예를 들어 대각 및 크로네커 근사 포함 2차 정보와 2차 모멘트—를 효율적으로 계산합니다.

대상 사용자

PyTorch 모델의 기울기 흐름과 학습 역학에 대한 깊은 통찰이 필요한 머신러닝 연구자 및 개발자. 고급 최적화 또는 분석 도구를 구현하는 데 도움이 됩니다.

주요 기능

효율적인 계산: 기존 역전파 데이터를 재사용하여 오버헤드를 최소화합니다.
확장된 메트릭: 미니배치 내 각 샘플에 대한 개별 기울기를 제공합니다.
세부 분석: 기울기 분산과 2차 모멘트의 추정치를 계산합니다.
2차 정보: 대각 및 크로네커 근사를 지원하여 근사적인 2차 정보를 제공합니다.

f-dangel/backpack

해결하는 문제

작동 방식

대상 사용자

주요 기능

관련