Stanford CS329A 自己改善型AIエージェント – コース概要 (Fall 2025)

スケーリング則と創発的能力

モデルのパラメータ数、学習計算量、およびデータセットのサイズを増やすことで、テスト損失が一貫して低下することが講義で示されています。これは、GPT‑2からGPT‑4に至るまでの性能向上を支える基盤となっています。

  • BERT (~340…M) から GPT‑2 (1.5…B), GPT‑3 (175…B), PaLM (540…B), そして推定1兆パラメータの GPT‑4 へとモデルサイズが拡大するにつれ、テスト損失が減少し、より優れた言語モデルが実現します。
  • より大きなモデルは、few-shot および zero-shot 学習を示します。つまり、モデルは明示的な fine-tuning なしで、タスクの記述やいくつかの例に従うことができます。
  • 創発的な推論は、より大きなモデルにおいてのみ現れます。モデルが十分に大きい場合（例：LaMDA, GPT, PaLM が 8…B パラメータ以上）、chain-of-thought プロンプトが数学や推論タスクの性能を向上させます。
  • これらのスケーリングの傾向は、生の言語モデルを実用的なアシスタントに変えるための、instruction tuning や reinforcement learning from human feedback へのさらなる研究を促しました。

Instruction Tuning と Reinforcement Learning from Human Feedback

Instruction tuning と RLHF は、ベースモデルを ChatGPT のようなシステムへと変貌させた重要なステップです。

  • 次のトークンを予測する pre-training の後、モデルは一般的な言語能力を向上させるために、高品質な教師ありデータ（書籍、エッセイ）で fine-tuning されます。
  • Instruction tuning は、質問と回答のペア（オプションで chain-of-thought を含む）を提示することで、モデルが指示に従い、回答を生成することを学習させます。
  • RLHF は、モデルの出力に対する人間の評価に基づき、報酬モデルを構築します。その後、モデルは、正解性、有用性、または無害性といった人間の好みに合わせるために、この報酬を最大化するように最適化されます。
  • pre-training → high-quality fine-tuning → instruction tuning → RLHF という組み合わせが、GPT-3 のような以前のモデルを凌駕する ChatGPT の能力を生み出しました。

Inference-Time Scaling (Large Language Monkeys)

Inference-time scaling は、モデルのパラメータを変更することなく、追加の能力を引き出すことができます。

  • Large Language Monkeys プロジェクトは、与えられた問題に対してモデルの出力を繰り返しサンプリングし、verifier を用いて正しい回答を選択します。これは、無限の猿の定理に似ています。
  • 実験では、数学やコーディングのベンチマークにおいて、問題あたりのサンプル数を 1 から 10,000 に増やしました。単一のサンプルでは GPT-4o より弱かったモデルが、多くのサンプルを許可した場合、GPT-4o を上回りました。
  • これは、モデルが単一の greedy decode では明らかにならない以上の知識を既に持っていることを示しています。Inference scaling（例：繰り返しサンプリング、tree search）は、pass-@k や coverage メトリクスを向上させることができます。
  • このアプローチはサンプル効率が良いです。適度な数の並列サンプリングにより、正しい回答が得られ、並列生成によってレイテンシを軽減できます。
  • Verifier が利用できない場合、研究者は LLM-as-judge や学習された報酬関数を用いてフィードバックを提供する方法を探索しています。
  • Inference-time scaling と合成データの生成を組み合わせることで、自己改善ループが可能になります。モデルが候補となる解決策を生成し、verifier がそれらをフィルタリングし、フィルタリングされたデータでモデルをさらに fine-tuning します。

LLM から Agentic Workflows へ

このコースでは、単一のターンでのチャットボットから、ツール使用、計画、自己修正を行うことで、多段階の目標を達成するエージェントへと進みます。

  • エージェントは、目標を維持し、行動を計画し、外部ツール（例：web search, code execution）と相互作用し、フィードバックを用いて調整を行うという点で、チャットボットとは異なります。
  • Workflow パターンには、prompt chaining（サブタスクのシーケンス）、routing（単純 vs. 複雑なパス）、parallelization（異なる入力に対して LLM を同時に呼び出す）、および orchestrator-worker（プランナー LLM がワーカー LLM を派遣する）が含まれます。
  • Verifier（unit tests, rule-based checkers）や critic（LLM-as-judge）は、自己修正やバックトラッキングのためのフィードバックを提供します。
  • 議論される例：コーディング支援のための Claude Code や、エンドツーエンドの文献調査のための deep-research ツール。これらはいずれも上記のパターンに展開します。
  • 効果的なエージェントには、強力な計画能力、多段階の推論能力、およびツール出力や verifier の信号に基づいてステップを修正する能力が必要です。

Course Logistics

コースの構造、評価、および期待される事項は以下の通りです。

  • Prerequisites: 機械学習の基礎および deep learning に関する知識（コースウェブサイトに記載）。

  • Materials: 講義スライド、リーディング、およびビデオは、Canvas と公開サイト cs329a.stanford.edu に掲載されます。

  • Assessment: 3 つの宿題（成績の 50%）とコースプロジェクト（成績の 50%）です。

  • 宿題のスケジュールと提出期限は Canvas で確認できます。規定のポリシーに従い、提出期限の延長（late days） late days は許可されます。

  • プロジェクトは、個人または最大 4 人のチームで行うことができます。API クレジットが提供されます。

  • Milestones: プロジェクト提案書（10 月初旬）、中間発表（提案書提出の 2 週週間後）、最終報告書およびポスターセッション（12 月 12 日、午後 4-6 時）。

  • プロジェクトは研究指向（単なるアプリではなく、仮説駆動型）であるべきです。過去のプロジェクトは、学会への論文掲載につながっています。

  • Office hours と Q&A は、Ed (公開フォーラム) と提出用の Gradescope を通じて行われます。

  • 講義ビデオは、最終的に YouTube に投稿され、監査用（credit なし）として視聴可能です。 }

Sources