qlabs-eng/noise

해결하는 문제

역전파는 신경망을 학습시키는 표준적인 방법이지만, 모델을 통한 역방향 패스가 필요합니다. Noise는 역방향 패스를 전혀 실행하지 않고 순방향 패스만 사용하여 손실을 측정하고 가중치를 업데이트하는 대체 학습 알고리즘을 테스트하기 위한 통제된 벤치마크를 제공합니다. 이는 더 일반적인 검색 기반의 크레딧 할당이 역전파와 대등하거나 그 이상일 수 있는지에 대한 질문을 다룹니다.

작동 방식

Noise는 모델, 데이터, 점수 산정 방식을 고정합니다: 37.7M 파라미터의 Transformer, FineWeb에서 파생된 30M 토큰 학습 세트, 그리고 검증 세트에서의 교차 엔트로피입니다. 세 가지 레이스 트랙이 있습니다: (1) 1 에포크 후 최저 검증 손실, (2) 검증 손실 3.5에 도달하는 최단 시간, (3) 트랙 1과 동일하지만 아키텍처 수정이 자유로운 방식. 모든 참가작은 엄격한 규칙을 따라야 합니다: 역전파 금지, 자동 미분(순방향 또는 역방향 모드) 금지, 수동으로 작성된 역방향 패스 금지. 학습 신호는 모델의 순방향 평가에서만 얻어야 하며, 크레딧은 최대 하나의 비선형 단계를 통해서만 할당될 수 있습니다. 제출은 pull requests를 통해 이루어지며, 리더보드에 현재 기록이 표시됩니다.

대상 사용자

진화 전략이나 기타 순방향 전용 방법과 같은 비역전파 학습 알고리즘에 관심이 있는 연구자 및 엔지니어. 또한 구조화된 경쟁에 참여하여 이러한 알고리즘을 개선하고 기존 베이스라인과 비교해보고 싶은 모든 사람.

주요 특징

• 제출물 간의 공정한 직접 비교를 위한 고정된 Transformer 모델 및 데이터셋.
• 세 가지 트랙: 검증 손실, 목표 손실까지의 스피드런, 오픈 아키텍처 변형.
• 트랙 1과 2의 현재 기록은 "Boost → Cut"이라는 방법을 사용하여 1시간 43분 만에 달성한 3.409의 검증 손실입니다.
• 참고를 위한 베이스라인 역전파 결과 제공: 학습률 쿨다운을 적용한 Adam은 3.419에 도달하며, 블록 행렬상의 ANVIL II와 다른 부분의 Adam을 결합한 방식은 3.340에 도달합니다. 목표는 이를 큰 차이로 능가하는 것입니다.