huskydoge/Awesome-Loop-Models

解決する問題

ほとんどのニューラルネットワークは入力を1回のストレートパスで処理します。レイヤーが積み重なり、各レイヤーは正確に1回使用されます。このプロジェクトは、異なるモデルファミリー、ループモデルに焦点を当てています。ここでは、同じ学習済みレイヤー、ブロック、または演算子が、単一のフォワードパス内の深さに沿って、またはモデル自身の出力をフィードバックして時間をまたいで、何度も再利用されます。この再利用により、パラメータ効率、より良い推論、適応計算、テスト時のスケーリング容易性などの利点がもたらされますが、これらのモデルは多くの論文に散在しており、追跡が困難です。このプロジェクトは、ループモデルに関する研究を収集、整理、構造化し、人々が関連する作業を見つけ、設計の選択を理解し、分野の進歩を追跡できるようにします。

仕組み

このリポジトリは、huuskydogeと貢献者によって維持されている、ループモデルの論文とブログの厳選された構造化リストです。完全なカタログはインタラクティブなウェブブラウザ（READMEにリンク）にあり、検索、章ごとの閲覧、セクションとループ設計によるフィルタリング、要約、会場、コードリンク、デイリーブリーフィングの閲覧ができます。

各エントリは、YAMLファイル（papers/*.yamlまたはblogs/*.yaml）からPythonビルドスクリプト（scripts/build.py）によって生成されます。カタログはトピックマップとして編成されています。5つの主要部分（基礎、ループがもたらすもの、構築/トレーニング/デプロイ、理解/応用、未解決問題）があり、章とセクションに分かれています。各論文には、loop_topology、sharing、depth_controlなどの設計軸と、主張（claims、comparison）のための制御された値がタグ付けされています。厳密なスコープ定義が含まれています。共有コンポーネントを真に再利用するモデルのみがスコープ内です。エージェントループ、繰り返される完全モデル呼び出し、単純なシーケンス再帰は除外されます。READMEには、「ここから始める」の必読コアリファレンスリスト、「最新の追加」セクション、「最も引用された」テーブル、長編ブログ投稿のリストが含まれています。

対象読者

ループ、再帰深度、重み共有、深層平衡、および類似のニューラルアーキテクチャに取り組んでいる、または興味がある研究者、エンジニア、学生。論文を見つけ、設計のトレードオフを理解し、新しい出版物を追跡し、分野の未解決問題の概要を取得したい人に役立ちます。

ハイライト

• インタラクティブブラウザ — 検索、フィルタリング、TL;DR、会場情報、コードリンク、デイリーブリーフィングをすべて1か所で読むことができます。
• 構造化トピックマップ — 論文は10章にわたる32セクションに編成されており、テーマ別にナビゲートしやすくなっています。
• 最終更新時点で354件の論文と8件のブログ、毎日のウォッチで新しいarXiv論文を追加。
• 制御されたメタデータ — 各論文は設計軸（ループトポロジ、共有、深さ制御）と主張された利点を記録し、自由形式のタグはありません。
• 明確なスコープ定義 — エージェントループ、繰り返される完全モデル呼び出し、通常のシーケンス再帰を明示的に除外し、リストを焦点を絞ったものに保ちます。
• オープンな貢献 — 構造化されたYAMLテンプレートとビルドスクリプトを使用して、プルリクエストを介して誰でも論文やブログを提出できます。