qlabs-eng/noise

解決する課題

バックプロパゲーションはニューラルネットワークを学習させる標準的な方法ですが、モデルを通じたバックワードパスを必要とします。Noiseは、バックワードパスを一切実行せず、フォワードパスのみを使用して損失を測定し重みを更新する代替学習アルゴリズムをテストするための制御されたベンチマークを提供します。これは、より汎用的な検索ベースのクレジット割り当てがバックプロパゲーションに匹敵するか、あるいはそれを上回ることができるかという問いに取り組むものです。

仕組み

Noiseはモデル、データ、スコアリングを固定しています：37.7MパラメータのTransformer、FineWebから派生した30Mトークンの学習セット、および検証セットでのクロスエントロピーです。3つのレーストラックがあります：(1) 1エポック後の最低検証損失、(2) 検証損失3.5に到達するまでの最速時間、(3) トラック1と同じだがアーキテクチャの変更が自由なもの。すべてのエントリーは厳格なルールに従う必要があります：バックプロパゲーション禁止、自動微分（フォワードまたはリバースモード）禁止、手書きのバックワードパス禁止。学習信号はモデルのフォワード評価からのみ得られる必要があり、クレジットは最大1つの非線形ステップを通じてのみ割り当て可能です。提出はpull requestsを通じて行われ、リーダーボードに現在の記録が表示されます。

対象者

進化戦略やその他のフォワードオンリー手法など、非バックプロパゲーション学習アルゴリズムに関心のある研究者やエンジニア。また、構造化された競技に参加してそのようなアルゴリズムを改善し、確立されたベースラインと比較したいと考えているすべての人。

ハイライト

• 提出物間で公平な直接比較を行うための、固定されたTransformerモデルとデータセット。
• 3つのトラック：検証損失、目標損失までのスピードラン、およびオープンアーキテクチャのバリエーション。
• トラック1および2の現在の記録は、「Boost → Cut」と呼ばれる手法を使用して1時間43分で達成された3.409の検証損失です。
• 参考としてベースラインのバックプロパゲーション結果を提供：学習率のクールダウンを伴うAdamは3.419に到達し、ブロック行列上のANVIL IIと他の部分のAdamを組み合わせたものは3.340に到達します。目標はこれらを大幅に上回ることです。