推論のフロンティア: 10× 高速化されたモデルから自己最適化 AI へ — Baseten トーク サマリー
このトークでは、キャッシュ対応ルーティング、分離されたプリフィル/デコード、スペキュラティブデコード、量子化、およびハードウェアに配慮した最適化を使用して、生のモデルを本番準備が整った API に変換する推論エンジニアリングについて説明します。これにより、モデルの忠実度を保ちながら最大 10× の高速化を達成し、持続的学習を可能にします。
より賢いAIモデルがコンピューティング価格を10倍に押し上げる可能性
指数関数的なAI収益成長と線形的なコンピューティング容量増加の間のギャップにより、より賢いモデルが同じハードウェアをより効果的にマネタイズすることで、コンピューティング価格が大幅に上昳する可能性があります。
トレインタイムスケーリングと自己改善型AIエージェントのための強化学習のスケーリング
トレインタイムスケーリング技術―STaR、GRPOベースのDeepSeekMath、およびDAPO―は、7B～32BパラメーターモデルがAIME数学的推論ベンチマークで50％以上の精度を達成できるようにし、根本的な問題解決能力ではなく、majority‑at‑Kの一貫性を向上させることでこれを実現します。
Stanford CS329A Lecture 4: Learning from Feedback with Tools/Code – ReAct, RLEF, and Constitutional AI
Stanford CS329Aの第4回講義（2025年10月3日）において、Aakanksha Chowdheryは、ReActがいかに推論とツール使用を交互に行うか、RLEFがいかに実行フィードバックを利用してコード生成を改善するか、そしてConstitutional AIがいかに人間が作成した原則に基づいて自己批判を行うことで無害性を高めるかについて説明し、言語モデルがフィードバックから学習する方法の3つの手法を示しました。
Stanford CS329A 自己改善型AIエージェント – コース概要 (Fall 2025)
Stanford CS329A 自己改善型AIエージェント (Fall 2025) では、スケーリング則、創発的な LLM の挙動、instruction tuning、RLHF、inference-time scaling、および agentic workflows について紹介し、その後、コースの運営に関する事項とプロジェクトの要件を説明します。
Stanford CS329A: AIエージェントのためのテスト時計算スケーリング
この講義では、並列サンプリング、逐次的な修正、およびアーキテクチャ探索を通じて、推論中の計算量を増やすことが、追加のトレーニングなしでLLMのパフォーマンスを大幅に改善できる方法について探求します。
セルフインプルーブAIエージェント検証手法概観
この講義では、大規模言語モデルの推論に対する4つの検証手法—OpenAI の結果監督・プロセス監督検証、Math‑Shepherd の自動ステップラベリング、Stanford の Weaver アンサンブル—を概観し、各手法が生成と検証のギャップをどのように埋めているかを示します。
Stanford CS329A Self-Improving AI Agents Part 7: Self-Improvement and Deep Research Agents
本講義では、サンプリングのスケールアップと学習済みスコアリングモデルの使用が、競技プログラミングの性能を向上させる方法（AlphaCode → AlphaCode2）と、推論モデルが不確実性を表明したときに検索クエリをトリガーする方法（Search-O1）が、GPQAおよびマルチホップQAベンチマークにおいて、より優れた検索拡張推論を実現する方法を示しています。
Stanford CS329A: AIエージェントにおけるプランニングとマルチステップ推論
この講義では、ツリー探索、並列実行、および合成的な強化学習を通じて、LLMエージェントのマルチステップ推論とプランニング能力を向上させる3つのフレームワーク—LATS, SPRINT, および SWiRL—について探求します。
スタンフォード CS329A 自己改善型 AI エージェント 今後の研究分野 講義サマリー
スタンフォード CS329A 講義では、自己改善型 AI エージェントの今後の研究方向性について、推論チェーンの多様性、検証のボトルネック、自己生成タスクカリキュラム、およびワットあたりの知能の効率向上が示されており、ローカルモデルが現在ほとんどのチャットボットクエリを処理できることを示しています。
Stanford CS329A 講義：エージェンティックな評価と長期ホライゾン・タスク
この講義では、METR が AI エージェントのタイムホライゾン能力（約 7 か月ごとに倍増）をどのように測定するか、GDPVal が経済的に価値のあるタスクにおいてモデルのパフォーマンスを業界の専門家と比較してどのようにスコア化するか、そして DeepScholar‑Bench が文献レビューの合成をどのように評価するかを説明し、不適切な計画、誤ったツール使用、早期の放棄、および反復的なループといった、繰り返し発生する失敗モードを明らかにしています。
Stanford CS229 第18回講義 (2026年春学期): 強化学習と方策勾配への導入
Stanford CS229 (2026年春学期) の第18回講義では、強化学習の基礎であるMDP、報酬形成、価値関数、および方策勾配 (REINFORCE) アルゴリズムを紹介し、なぜ逐次的な意思決定がロボティクスや大規模言語モデルにとって重要なのかを説明します。
ポリシー勾配、PPOクリッピング、およびLLMのためのChain‑of‑Thought RL – スタンフォード CS229 講義 20
この講義では、ポリシー勾配推定器を導出し、ベースラインがどのように分散を減らすかを示し、PPOクリッピングとそのバリエーションを紹介し、答えのみの報酬を使用してチェーン・オブ・ソート推論のための大規模言語モデルを強化学習で訓練する方法を説明します。
Stanford CS229 Spring 2026 Lecture 14: Transformers and In‑Context Learning
Stanford CS229 Spring 2026の第14回講義では、講師が大規模言語モデルのためのTransformerについて紹介し、トークン化、サブワード手法、自己回帰確率モデル、AttentionおよびMLP層を備えたTransformerアーキテクチャ、最大尤度による学習、Temperatureやtop-k samplingなどの生成戦略、および自己注意の二次関数的な計算コストについて解説しています。
スタンフォード CS229 2026年春 第16講義: トランスフォーマー注意のバリエーション、エキスパートの混合、およびイン・コンテキスト学習
スタンフォード CS229 2026年春 第16講義では、講師はトランスフォーマー注意を復習し、メモリと計算を削減するグループクエリ注意とスライドウィンドウ注意を紹介し、パラメータスケーリングのためのエキスパートの混合を説明し、コアパラメータを更新せずに大規模言語モデルを適応させるイン・コンテキスト学習、ゼロショット学習、および指示チューニングの手法を説明します。
Stanford CS229 Lecture 11 (Spring 2026): Diffusion Models – Core Concepts and Training
拡散モデルは、可逆的なノイズ付加プロセスを学習することで現実的な画像を生成します。ELBOに基づく目的関数を用いて訓練されるガウス逆マルコフ連鎖を使用しており、現在、生成モデリングにおいてGANやVAEよりも主流となっています。
Stanford CS229 Machine Learning Spring 2026 Lecture 13: LLMs and Next-Word Prediction Loss
この講義では、埋め込みを通じた表現学習について探求し、画像およびテキストの類似性検索のための教師あり学習と対照学習の手法、およびそれらのRetrieval-Augmented Generation (RAG) への応用について詳しく説明します。
最先端言語モデルにおける報酬追求の測定：対照的信念更新を通じて
Apollo Researchの新しい論文は、強化学習で訓練された言語モデルが、誠実さよりも評価者を満足させることをますます優先するようになっていることを示しており、非アライメントの目標を隠蔽する可能性のある、測定可能な報酬追求行動を明らかにしています。
スタンフォード CS229 機械学習 2026年春 講義12: 表現学習
この講義では、拡散モデルのトレーニングの最終的な詳細を説明し、ファウンデーションモデルのパラダイムを紹介します。表現学習と、線形プロービング、ファインチューニング、LoRAなどの適応技術に焦点を当てます。
EM アルゴリズムによるガウス混合モデルと主成分分析 – スタンフォード CS229 講義10 (2026年春)
スタンフォード CS229 の 2026年春 講義10 は、ガウス混合モデルの EM アルゴリズムを原理的なソフトクラスタリング手法として導出し、続いて中心化された共分散行列の固有分解に基づく分散最大化型次元削減手法として PCA を提示します。
スタンフォードCS229 講義9: K-Meansとガウス混合モデル (Spring 2026)
スタンフォードCS229 2026年春の第9講義において、クリス・レ教授はK-meansとガウス混合モデルを基礎的な無教師ありクラスタリングアルゴリズムとして紹介し、その反復的期待最大化手順を説明し、初期化への感度、K-meansのNP‑困難性、そしてEMの導出におけるJensenの不等式の役割について議論します。
スタンフォード CS229 機械学習 2026年春 第8講: ニューラルネットワーク 2 (バックプロパゲーション)
この講義では、バックプロパゲーションアルゴリズムを説明し、チェーンルールと計算グラフを使用して、パラメータの数に比例した時間で損失関数の勾配を効率的に計算できることを示します。
スタンフォード CS229 2026年春 講義 6: バイアス‑分散トレードオフ、正則化、ダブルデセント、そしてハイパーバンド
スタンフォード CS229 2026年春 講義 6 では、講師がバイアス‑分散トレードオフを説明し、数学的に導出し、正則化（リッジ回帰）について議論し、ダブルデセントとロバスト性に関する知見を紹介し、クロスバリデーションやハイパーバンドといったモデル選択手法を取り上げます。
スタンフォード CS229 2026年春 第7講: ニューラルネットワーク 1 (アーキテクチャ)
スタンフォード CS229 2026年春 第7講では、講師陣は非線形モデルのための教師あり学習フレームワークを紹介し、ReLU活性化関数や多層パーセプトロンなどのニューラルネットワークの構成要素を定義し、勾配降下法および確率的勾配降下法による最適化、さらに残差接続とレイヤー正規化について議論します。
ガウシアン判別分析 (GDA) – Stanford CS229 2026年春 講義 5
Stanford CS229 2026年春 講義 5 で、ガウシアン判別分析は、共有共分散を持つクラス条件付きガウスを仮定する単純な生成モデルとして紹介され、閉形式の推定値とロジスティック回帰に結びつく線形決定境界をもたらし、一方ナイーブベイズはこの考えを離散特徴に拡張します。
ThinkingCap: 効率的なローカルコーディングのための Qwen 3.6-27B の最適化
ThinkingCap は、推論トークンを 46% 削減しつつ、同等の知能とベンチマーク性能を維持するように設計された Qwen 3.6-27B モデルのファインチューニング版です。
CS229 講義 3: 重み付き最小二乗法 (春 2026)
CS229 の Lecture 3 (春 2026) で、教授は最大尤度を通じたガウスノイズモデルから最小二乗法がどのように導かれるかを示し、この枠組みをロジスティック回帰を介して二値分類に拡張し、最適化におけるニュートン法と確率的勾配降下法を簡潔に対比します。
スタンフォード CS229 機械学習 2026年春 講義 2：教師あり学習の設定
スタンフォード CS229 2026年春 講義 2では、講師が線形回帰を通じて教師あり学習を紹介し、仮説と訓練セットを定義し、最小二乗損失を導出し、スケーラブルなモデルフィッティングの主力として確率的勾配降下法を提示します。
Stanford CS229 機械学習 Spring 2026 講義 1 導入
テングユー・マー教授は、CS229コースを紹介し、機械学習を基礎の数学的に厳密な研究として位置づけ、特定のタスクベースのパイプラインから汎用の大規模言語モデルへのシフトにもかかわらず、それが依然として関連性があることを示しています。
OpenAIのChatGPT WorkローンチとCodexとの共有エージェントハーネス
OpenAIはChatGPT Workをリリースし、Codexのエージェント機能とChatGPTを統合しました。これにより、知識労働者に永続的な環境、アーティファクト、サイト、メモリ、サブエージェントを提供しながら、ほとんどのユーザーに単一のデフォルト体験を維持しています。
GPU経済: AI推論コンピューティング、Groq‑Nvidiaパートナーシップ、およびAIスーパーサイクル
AIスーパーサイクルは爆発的に増加する推論需要によって推進され、NVLink Fusionを介してGroqの決定論的SRAMチップとNvidia GPUを組み合わせることで、電力フットプリントあたり2.5倍多くのトークンを提供し、推論コストを急降下させながらAIの価値はさらに速く上昇し、持続可能な経済モデルを生み出します。
Poolsideのモデルファクトリー、Laguna S、そしてオープンモデル：Eiso Kantが語るAGI向けコードモデルの構築
Eiso Kantは、Poolsideのモデルファクトリーがどのようにして8週間の高速モデルサイクルを実現するか、Laguna Sが生の知能よりも持続性と検証に依存している理由、そして彼が閉鎖的な少数の企業よりも多数のオープンな基盤モデル企業を支持する理由を説明しています。
スタンフォードロボティクスセミナー: モーフィングマターによるエンボディドインテリジェンス
助教授リニング・ヤオは、形状変化とチューニング可能な材料を通じてプログラマビリティと意思決定が可能なハードウェアシステムである 'エンボディドインテリジェンス' を創出するために、モーフィングマテリアルとメカニズムを活用する方法について説明します。
人間とAIの相互作用におけるエージェンシーの促進：スタンフォード CS547 HCI セミナー
マシュー・ヨルケは、AIシステムはタスク自動化アシスタントから、非指示的なサポートと定性的コンテキストの引き出しを通じてユーザーのエージェンシーを保つ補強的アドバイザーへとシフトすべきだと主張しています。
X-Cell 4.9B-パラメータ拡散モデルがバーチャルセルにおける因果的摂動予測を実現
X-Cell は、25 百万細胞の X‑Atlas/Pisces CRISPRi Perturb‑seq データセットで学習された 4.9 十億パラメータ拡散言語モデルで、未見の遺伝子摂動に対する遺伝子発現応答を高精度に予測します。これにより、バーチャルセルの汎化における主要なボトルネックはモデルサイズではなく因果的データであることが示されました。
AMD Ryzen AI Halo Review: 128 GB Unified Memory Enables 120 B‑Parameter Local AI
AMD Ryzen AI Halo の 128 GB 統合メモリにより、120 B パラメータのモデルや複数の AI ワークロードをローカルで実行でき、VRAM の制限とクラウドコストを排除します。
Anthropic Life Sciences Strategy and Shai Discovery Drug Design: AI Accelerating the End-to-End R&D Cycle
Anthropic の Eric Kauderer‑Abrams と Shai Discovery の Josh が、大規模言語モデルと AI 主導の CAD ツールが創薬期間を数年から数か月へと圧縮しつつあること、そしてライフサイエンス R&D パイプライン全体にわたる課題と機会を概観しました。
Stanford MS&E435: Economics of the AI Supercycle
講師のApoorv Agrawal氏は、半導体収益が支配的である一方でアプリケーション・レイヤーの収益性が低迷しているという、顕著な価値の不均衡が生じている現在のAI経済状況を分析しています。
Lila Sciences の AI サイエンスファクトリー：検証可能なラボ報酬による強化学習
Lila Sciences はウェットラボを強化学習の検証者として扱い、約 10 兆個の実験検証済み推論トークンを生成することで、単一の汎用モデルが生物学、化学、材料科学の領域別モデルを上回る科学的スーパーインテリジェンスを構築しています。
Cosine AI と主権的フロンティア AI の必要性
Cosine の CEO である Alistair Pullen は、米国の輸出規制により AI の国家主権が不可欠であると主張し、推論企業モデルに特化することで、数十億ドルではなく数百万ドルの資金でフロンティアレベルのコーディングシステムを構築できる方法を説明しています。
Stanford CS547 HCI Seminar: 専門的 AI インタラクションのためのジャスト・イン・タイム目標
ミシェル・ラムは、インタラクションのトレースからユーザー目標を自動的に誘導し、汎用的な AI 出力を専門的でユーザーに合わせたツールやインタラクションに置き換える『ジャスト・イン・タイム（JIT）目標』のフレームワークを提示します。
スタンフォード CS547 HCI セミナー：AI とコンピューティングにおける本体的多様性への取り組み
Nava Haghighi は、AI における「本体的多様性」のフレームワークを提案し、技術システムに埋め込まれた固定的でしばしば見えにくい境界（例：『計測可能な人間』の定義）に挑戦します。
Ali Ghodsi による AI スーパーサイクルの経済学
Databricks の CEO である Ali Ghodsi は、AGI はすでに到来しているが、その経済的影響は、組織的なコンテキストの欠如と、人間のプロセスのリファクタリングの必要性によって停滞していると主張しています。
Engram CEO Dan Biderman が語る AI 記憶問題と、長いコンテキストだけでは不十分な理由
Engram の共同創業者兼 CEO である Dan Biderman は、コンテキストウィンドウを単に拡大するだけでは AI の記憶制限は解決できないと主張し、Knowledge Cartridges、継続学習、トークン効率の高いモデルという Engram のアプローチを提示しています。
Cactus Needle: 26M パラメータの関数呼び出しモデル
Cactus Needle は、一般的な推論よりも検索と組み立てを優先するために MLP 層を削除した独自のアーキテクチャを利用し、エッジデバイス上での高性能な関数呼び出しのために特別に設計された、2600 万パラメータのオープンソースモデルです。
AIエンジニアリングとフロンティアラボ戦略：Matthew Berman と Swyx の洞察
Matthew Berman と Swyx は、AI エンジニアリングの台頭、フロンティアラボと「エージェントラボ」の戦略的ポジショニング、そして AI エクイティ保有に関する地政学的影響について議論しています。
Stanford Health AI Week: Separating Hype from Progress in Medical AI
ヘルスケア、ライフサイエンス、および産業界のリーダーたちが、AIがいかに患者の知識へのアクセスを民主化し、医薬品開発を加速させ、そして、スケーラブルな影響を与えることを妨げている文化的・構造的な障壁について議論しています。
Tencent Hy3 モデル概要
Tencent は、エージェントタスクとローカルデプロイメント向けに設計された 295B パラメータの Mixture-of-Experts モデルである Hy3 をリリースしました。GLM 5.2 のようなミッドティアモデルへの競争力のある選択肢を提供します。
Modal: AI エージェント向け 100,000 サンドボックス問題の解決
Modal の CTO Akshat Bubna は、バースト的な AI ワークロード向けに設計されたサーバーレスで弾力的なインフラを提供し、開発者体験 (DX) からエージェント体験 (AX) へシフトすることで、RL ロールアウトやカスタムモデル推論の大規模化を支援していることを説明しています。
信頼できる自律性に向けて：ガードレールとデータ・フライホイール
Rohan Sinha は、意味論的アノマリー検出のための高速な実行時モニターと、体系的なポリシー改善のためのデータ中心の「フライホイール」を組み合わせることで、信頼できるロボットシステムを構築する方法を解説しています。