wdndev/llm_interview_note

これは何？

llm_interview_note は、大規模言語モデル（LLMs）（ChatGPTなどのツールの背後にある技術）に焦点を当てた、個人用・オープンソースの学習ガイド兼面接準備コレクションです。著者はオンラインリソースから概念を収集し、一般的な面接質問に対する自身の回答を書きました。

内容は？

リポジトリは、LLMのライフサイクル全体をカバーする構造化されたノートのセットとして整理されています：

• LLMの基礎 — 歴史、トークナイゼーション、単語ベクトル、言語モデル、深層学習の基礎
• モデルアーキテクチャ — Transformer、アテンション機構、位置エンコーディング、BERT、および既知のモデル（LLaMAシリーズ、ChatGLMシリーズ）
• トレーニングデータ — データセット形式とモデルパラメータ
• 分散トレーニング — データ並列、パイプライン並列、テンソル並列、DeepSpeed、Megatron、およびメモリ問題
• 教師ありファインチューニング — プロンプティング、アダプターチューニング、LoRA、およびLLaMA2とChatGLM3の実用的なファインチューニング例
• 推論 — フレームワーク（vLLM、FasterTransformer、TensorRT-LLM）、最適化技術、量子化
• 強化学習 — PPO、RLHF、DPO
• RAGとエージェント — 検索拡張生成とエージェント技術
• 評価 — モデル評価とLLMの幻覚
• アプリケーション — 思考連鎖プロンプティングとLangChain
• 実際の面接質問 — 実際の面接質問を含む専用セクション

各トピックは個別のMarkdownファイルであり、全体はウェブサイトとしてオンラインで読むことができます。

誰のため？

LLM関連の就職面接を準備している人、またはLLMの概念の構造化された概要を望む人。著者は回答が自己作成であることを注記し、訂正を歓迎しています。

関連するハンズオンプロジェクト

READMEには、実践的な学習のためのいくつかの補助リポジトリへのリンクがあります：

• tiny-llm-zh — 小さな中国語LLMをゼロから構築（事前学習、ファインチューニング、RL）
• tiny-rag — マルチリコールとリランキングを備えたシンプルなRAGシステムを構築
• tiny-mcp — プロンプトと関数呼び出しを使用してMCP（モデルコンテキストプロトコル）サーバー/クライアントを実装
• llama3-from-scratch-zh — LLaMA3をゼロから実装、16GB RAMのラップトップで実行可能

また、深層学習、機械学習、レコメンデーションシステムをカバーする、より広範なAIエンジニア面接ノートもあります。

アクセス方法

• オンライン閲覧：LLMs Interview Note
• GitHub：リポジトリ自体（役に立つ場合はスターを付けてください、著者の要請による）
• 著者はまた、LLMコンテンツと面接経験のためのWeChat公式アカウントを運営しています（READMEにQRコードがあります）。

重要な注意点

コンテンツは著者自身が作成したものであり、公式または査読済みのソースではありません。著者は読者に不正確な点を指摘するよう明示的に求めています。