changyeyu/LLM-RL-Visualized

このプロジェクトとは？

LLM-RL-Visualized は、大規模言語モデル（LLM）と強化学習（RL）の仕組みを説明する 100以上のオリジナルアーキテクチャ図 のコレクションです。図は以下のようなトピックをカバーしています：

• LLM / VLM（視覚言語モデル）の原理
• トレーニングアルゴリズム：RL、RLHF、GRPO、DPO、SFT、CoT蒸留
• 効果最適化とRAG（検索拡張生成）

これは視覚的な学習リソースです。著者は複雑なAI概念を理解しやすくするために図を描いています。

中身は？

リポジトリは 11のパート に整理されており、各パートが異なる領域をカバーしています：

1. 技術概要マップ — LLMとRLアルゴリズムの全体像を示す図
2. LLM基礎 — モデル構造、入出力層、デコーディング、マルチモーダルモデル、トレーニングパイプライン
3. SFT（教師ありファインチューニング） — ファインチューニング技術、LoRA、Prefix-Tuning、損失関数、データ処理
4. DPO（直接選好最適化） — DPOの仕組み、RLHFとの比較、トレーニング図
5. トレーニング不要の最適化 — CoT（思考の連鎖）、検索戦略、サンプリング方法、RAG、関数呼び出し
6. RL基礎 — マルコフ過程、価値関数、DQN、方策勾配、マルチエージェントRL、模倣学習
7. 方策最適化アーキテクチャ — Actor-Critic、PPO、TRPO、GAE、DDPG、GRPO
8. RLHFとRLAIF — 報酬モデル、PPOベースのRLHF、拒否サンプリング、憲法AI
9. 推論最適化 — 知識蒸留、MCTS、best-of-Nサンプリング、多数決
10. LLM拡張 — 量子化、位置エンコーディング、正規化、プルーニング、ベンチマーク
11. 付録 — テキスト説明、参考文献、引用形式

主な特徴

• 高解像度画像：任意の図をクリックして大きなバージョンを表示、または .svg ベクターファイルを閲覧（無限ズーム、テキスト選択可能）
• バイリンガル：中国語と英語で利用可能（2つのREADMEバージョン）
• ボーナスPDF：大きな「強化学習アルゴリズムマップ」PDFと「方策勾配」導出PDFを含む
• 関連書籍：著者は『大模型算法：強化学習、微調整とアライメント』という本も執筆しており、図のより詳細な説明を提供しています
• 積極的にメンテナンス：著者はリポジトリが継続的に修正・拡張されると述べています

誰のため？

現代のAIモデルがどのように構築・トレーニングされるかを 視覚的に理解したい すべての人向けです。LLMの内部構造から、PPOやGRPOなどの強化学習アルゴリズムの背後にある数学まで。図はこれらの密度の高いトピックをより親しみやすくするように設計されています。

使い方

READMEは本質的に 目次 です。各エントリは図（PNGまたはSVG）へのリンクと短い説明を含みます。トピックごとに閲覧し、クリックしてフルサイズの画像を表示し、リンクをたどってPDFファイルでより深く掘り下げることができます。

注：READMEには、このプロジェクトがオープンソースプロジェクトを推薦するプラットフォームであるHelloGitHubで紹介されていることが記載されています。