fscdc/Awesome-Efficient-Reasoning-Models

解決する課題

大規模推論モデル（回答前にステップバイステップで考えるLLM）は強力ですが、遅くてコストがかかります。長い思考連鎖を生成することが多く、計算と時間を消費します。このプロジェクトは、推論精度を維持しながらコストを削減するための最新研究を収集・整理します。例えば、思考連鎖の短縮、小規模モデルの使用、デコードプロセスの効率化などです。

仕組み

このリポジトリは、生きた論文ベースのサーベイです。数百の研究論文を明確なカテゴリに分類しています：

• 長いCoTを短くする — 推論モデルが生成する思考連鎖（CoT）を圧縮・短縮する方法。微調整、強化学習、プロンプトの工夫を使用します。
• 強い推論能力を持つSLMを構築する — 強力な推論を小規模言語モデル（SLM）に蒸留するアプローチ、または量子化やプルーニングによるモデルサイズ削減。
• デコードをより効率的にする — 実際のトークン生成ステップを高速化する技術。効率的なテスト時スケーリングやより良いデコード戦略など。
• 効率的なマルチモーダル推論 — 画像や他のモダリティをモデルが推論する際のコスト削減。
• 効率的なエージェント推論 — エージェントのような多段階推論をより効率的にする。
• 評価とベンチマーク — 効率向上を測定するためのベンチマークとテスト。

各論文エントリには、図、短い紹介、GitHubリポジトリとarXiv論文へのリンクが含まれます。分類図とクイックリンクの完全なリストが読者のナビゲーションを助けます。メンテナーはリストを積極的に更新し、新しい論文を追加するプルリクエストを受け付けています。

対象読者

大規模言語モデルに取り組む研究者、エンジニア、学生 — 特に推論モデルをより速く、より安く、または展開しやすくすることに興味がある人。また、効率的推論研究の現在の状態を広く把握したい人や、自分の論文を公開・引用可能なコレクションに貢献したい人にも役立ちます。

ハイライト

• トレーニング時メソッド（SFT、RL）と推論時テクニック（デコード、プルーニング）の両方を一箇所でカバー。
• 明確なセクションと視覚的な分類で構造化され、アプローチごとに簡単に閲覧可能。
• GitHubリンクと説明用図を含む多くの論文が含まれ、迅速な評価と再現が可能。
• 積極的にメンテナンスされ、時間とともに新しいセクション（効率的エージェント推論など）が追加され、プルリクエストによるコミュニティ貢献を歓迎。