afshinea/stanford-cme-295-transformers-large-language-models

VIP cheatsheet for Stanford's CME 295 Transformers and Large Language Models

解決する問題

このプロジェクトは、スタンフォード大学の CME 295 コース「Transformer と大規模言語モデル（LLM）」で教えられる複雑な概念に対する、集中的かつ簡潔なリファレンスを提供し、学生や実務者がこの分野の理解を深めるのに役立ちます。

仕組み

このリポジトリは、主要な技術トピックを単一のアクセスしやすい形式にまとめた包括的な「VIP チートシート」を提供します。これは、同じカリキュラムの詳細な説明と視覚的補助を提供する「スーパー学習ガイド」の書籍のコンパニオンとして機能します。

対象読者

スタンフォード大学の CME 295 コースに登録している学生、および現代の AI アーキテクチャとトレーニング技術の構造化された概要を求める学習者や専門家向けに設計されています。

ハイライト

セルフアテンションとその変種を含む、基礎的な Transformer アーキテクチャをカバー。
ファインチューニング（SFT、LoRA）や嗜好調整（RLHF、DPO）などの LLM トレーニング方法を詳述。
分散トレーニング、KV キャッシュ、投機的デコードなどの技術的最適化を説明。
AI エージェントや評価などの高度なアプリケーションに関する情報を含む。
グローバルなオーディエンスをサポートするため、15 の異なる言語で利用可能。

関連

プロジェクト
changyeyu/LLM-RL-Visualized
LLM-RL-Visualized は、大規模言語モデル、強化学習、および関連するトレーニング技術を説明する100以上のオリジナルアーキテクチャ図を含む、バイリンガルで図中心の教育用リポジトリです。11のトピックセクションに整理され、高解像度のSVG/PNG画像とボーナスPDFが含まれています。
プロジェクト
alvinreal/awesome-opensource-ai
このプロジェクトは、オープンソースのAIツール、モデル、リソースを14のカテゴリに分類したキュレーションリストです。人気よりも有用性を優先し、スター数に関係なくプロジェクトを含み、貢献を歓迎します。
プロジェクト
openTrinity/mycontext
MyContextは、ユーザーの業務データ（チャット、ドキュメント、会議など）をプライベートなローカル保存のナレッジグラフに継続的に取り込むデスクトップアプリです。このグラフはLLM、ローカルエージェント、または許可されたAIアプリによってクエリ可能であり、より情報に基づいた回答を提供するためのパーソナルなコンテキストレイヤーを提供します。機能には、デジタル・セルフ・アシスタント、ソース引用付きの自然言語検索、および厳格なヒューマン・イン・ザ・ループ制御が含まれます。本プロジェクトは活発に開発されており、Elastic License 2.0の下でリリースされています。
プロジェクト
WeThinkIn/AIGC-Interview-Book
WeThinkIn/AIGC-Interview-Bookは、AI求職者のための無料のオープンソース中国語プラットフォームです。面接対策、技術知識（AIGC、LLM、AIエージェント、ディープラーニングなど）、学習ルート、キャリアプランニング、コミュニティ貢献システムをカバーしています。長期的価値が実証された技術のみを学ぶことを重視し、主任編集者と6人の共同編集者（すべて業界経験者）によって維持されています。