EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications

これは何か

これは、モデルマージに関する厳選され、常に更新される学術論文のコレクションです。モデルマージとは、2つ以上の訓練済みAIモデル（LLMなど）の重みを組み合わせて、元のトレーニングデータや大規模な計算を必要とせずに、より強力または多機能なモデルを作る実践です。

これは特定のサーベイ論文（ACM Computing Surveys、2026年掲載）に付随し、研究者や実務者にとって生きたリソースとなることを目的としています。

含まれるもの

READMEは数百の論文を明確な構造に整理しています：

• サーベイ論文 — モデルマージの概要。
• ベンチマークと評価ツール — データセット、ライブラリ、実証比較（例：MergeKit、FusionBench）。
• 高度な方法 — マージ前のステップ（微調整戦略、重みの整列）、マージ中の技術（加重平均、部分空間法、ルーティング）、理論的分析に細分されます。
• 応用 — 大規模言語モデル（LLM）、マルチモーダルLLM（MLLM）、画像/ビデオ生成器、および多くの古典的なMLサブフィールド（継続学習、連合学習、敵対的防御など）にわたります。

テーブルの各エントリは、論文タイトル、年、発表場所を示し、多くの場合、実験で使用されたモデル（例：Llama-3-8B、Mistral-7B）をリストした備考列があります。プロジェクトはまた、ニュースセクションで述べられているように、サイズ≥7Bのモデルを使用した論文をフラグ付けします。

使用方法

• 関連論文を素早く見つける — 分類されたテーブルを閲覧します。
• 「備考」列を確認する — 研究がどのモデルを使用したかを確認し、再現性を支援します。
• 貢献する — READMEは、新しい論文の追加、エントリの修正、より良い分類の提案のためのプルリクエストを明示的に歓迎します。

これは本質的に、モデルマージに興味があるすべての人（重要な論文を探している初心者から最新の研究を追跡している専門家まで）のための、構造化された閲覧可能な参考文献です。