amitshekhariitbhu/ai-system-design

AI System Design - Learn how to design AI systems built on LLMs, RAG, and AI Agents step by step.

AI System Design – このリポジトリの内容

タイプ: オープンソース学習ガイド（Markdown 中心のリポジトリ）
範囲: AI システム設計 の分野全体をカバー – LLM 推論の仕組み、ハードウェア選択、キャッシュ、ルーティング、RAG から、エージェント、マルチエージェントオーケストレーション、マルチモーダル/音声パイプライン、安全ガードレール、可観測性、コスト最適化、面接対策まで。

対象となる理由: このリポジトリは、本番環境向け AI サービスの構築方法を教える、厳選され継続的に更新される解説記事、図、リンクのコレクションです。すべてのトピックは現代の AI/LLM エンジニアリングに直接関連しており、真の AI に焦点を当てた教育プロジェクトとして認定されます。

クイックサマリー

大規模言語モデルを中心とした AI システムを設計、デプロイ、スケーリングしたいエンジニア向けのステップバイステップガイド。
詳細な目次を持つ長い Markdown ドキュメントとして構成され、各サブトピックの詳細なブログ記事にリンクしています。
基礎（トークン、GPU、推論サーバー）→ コアエンジニアリング（スケーリング、キャッシュ、ルーティング、RAG）→ 高度なレイヤー（エージェント、マルチエージェントシステム、マルチモーダル、安全性、可観測性、コスト、ファインチューニング）→ 面接フレームワーク をカバー。
初心者向けに書かれ、専門用語を避け、実際の数値、ツール、アーキテクチャ図を含みます。
Amit Shekhar（Outcome School の創設者）によって維持され、彼の教育プラットフォームと関連する AI エンジニアリングコースに相互リンクしています。

誰が使うか

対象	得られるもの
AI に移行するソフトウェアエンジニア	基本的なトークン経済から本番環境向けパイプラインまでの明確なロードマップ。
バックエンド / モバイル / フロントエンド開発者	LLM 推論、ストリーミング、レート制限、ゲートウェイの統合に関する実践的なガイダンス。
ML / データサイエンティスト	モデルを研究からスケーラブルなサービングスタック（GPU サイズ調整、量子化など）に移行する手順。
エンジニアリングマネージャーとアーキテクト	ハードウェア、並列処理、キャッシュ、コスト最適化のための意思決定フレームワーク。
学生と面接対策者	繰り返し可能な 8 ステップの方法で AI システム設計の面接問題を解くための専用セクション。

コアコンテンツのハイライト

LLM 推論の仕組み – Prefill と decode、TTFT、TPS、KV-cache、chunked prefill、disaggregation。
スケーリング戦略 – 垂直/水平スケーリング、テンソル/パイプライン並列処理、自動スケーリングのウォームプール。
キャッシュレイヤー – KV-cache、プロンプトキャッシュ、セマンティックキャッシュ、埋め込みキャッシュ、圧縮技術。
ルーティングと負荷分散 – ルールベース、分類器ベース、埋め込みベース、LLM-as-router、カスケードルーティング。
RAG とベクトルデータベース – インデックスタイプ、ハイブリッド検索、HyDE クエリ変換、再ランキング、GraphRAG、ベクトルレス RAG。
コンテキスト管理 – ウィンドウローテーション、RoPE 減衰、要約、階層メモリ。
エージェントアーキテクチャ – 5 つのコア部分、ループエンジニアリング、ツール呼び出し、Model Context Protocol (MCP)、メモリスタック。
マルチエージェントシステム – 調整パターン、A2A プロトコル、サブエージェント、トレードオフ。
マルチモーダルと音声 – エッジ AI、レイテンシ予算、バージイン、SSE/WebSockets によるストリーミング。
安全性とコンプライアンス – ガードレール、プロンプトインジェクション、レッドチーム、透かし、PII 編集、監査ログ。
可観測性と評価 – トレース、スパン、LLM-as-judge、エージェント評価パイプライン。
コスト最適化 – モデル選択、キャッシュ、バッチ推論、より安価な検索、セルフホスティング。
面接フレームワーク – 8 ステップの問題解決方法、実際のケーススタディ（Claude Code、Cursor、音声 AI）、FAQ。

始め方

リポジトリをクローンして README.md を開く – 目次から任意のトピックにジャンプできます。
学習パス（Mermaid 図）に従う – 初心者の場合：基礎 → LLM 推論 → スケーリング → … → 面接。
詳細ブログは各セクションからリンクされています。具体的な例、コードスニペット、アーキテクチャ図についてはそれらを読んでください。
適用：各セクションの後、概念を自分の言葉で説明するか、小さなバージョンをプロトタイプしてみてください（例：KV-cache デモやシンプルな RAG パイプライン）。

ライセンス

このリポジトリはオープンソースライセンス（README の最後の License セクションを参照）で公開されており、自由な再利用と変更が許可されています。

結論： AI System Design は、LLM とエージェントを中心とした本番 AI システムを構築、スケーリング、維持する方法をエンジニアに教える、包括的で初心者向けのオープンソースガイドです。これは AI システム分野における真の教育プロジェクトです。