AI 系统设计指南

它是什么： 一份免费、持续更新的参考指南，面向设计和构建生产级 AI 系统的人，以及准备 AI 系统设计面试的工程师。它由 Om Bharatiya 维护，托管在 GitHub 上，采用 MIT 许可证，任何人都可以使用并贡献改进。

核心理念

该指南的前提是，关于 AI 的纸质书籍很快就会过时——新模型、定价和工程模式的出现速度远超书籍更新速度。这个项目是一份“活文档”：它跟踪新模型发布、协议变化和新兴模式，让读者获得最新信息，而不是去年的信息。

内容概览

该仓库组织为 19 个编号主题文件夹，外加独立指南。主要领域包括：

• 基础 — LLM 内部工作原理（Transformer、注意力机制、嵌入）
• 模型全景 — 具体模型（Claude、GPT、Gemini、Grok、DeepSeek 等），如何选择，以及真实定价数据
• 检索系统 — RAG（检索增强生成）、分块策略、向量数据库、重排序
• 智能体系统 — 采取行动的 AI 智能体、工具使用、MCP 和 A2A 协议、持久执行
• 语音和音频智能体 — 实时语音 AI，包括延迟和成本考虑
• 评估与可观测性 — 如何衡量 AI 系统是否真正有效（RAGAS、LangSmith、基准测试）
• 安全、可靠性与合规性 — 访问控制、护栏、AI 治理（欧盟 AI 法案、NIST）
• 基础设施与 MLOps — GPU 集群、AI 网关、成本控制（FinOps）
• 案例研究 — 20 个真实架构示例，附有图表，包括多租户 SaaS 系统、欺诈检测系统、语音医疗智能体和编码智能体

还有两个额外深度指南（每个 3000 多行），关于 AI 评估，涵盖 Phoenix、Langfuse 和 LangWatch 等平台。

面试准备

该指南的很大一部分针对 AI 工程面试。内容包括：

• 147 道面试题库，包含真实问题（包括语音 AI 专项）
• 答题框架，附有模拟面试记录
• 十个白板练习
• 就业市场趋势文档（2026 年 10 月）
• 常见问题解答和术语表，定义每个术语

该指南帮助你回答的示例面试问题：“设计一个多租户 RAG 系统，使竞争对手无法看到彼此的数据” 和 “你的智能体为 3 步任务执行了 15 步。你如何调试？”

它不是什么

README 明确说明了边界：

• 不是 Python、PyTorch 或基础 ML 的教程——读者应先学习课程
• 不是供应商中立的——它点名具体模型、价格和框架，因为真实系统需要真实选择
• 不是动手构建的替代品——建议与项目并行阅读
• 不是研究论文摘要——仅在论文改变实践时才引用

额外内容

作者提供付费 1 对 1 模拟面试和指导（通过 EngineBogie 和 Topmate），该指南可在 aidaddy.tech 在线阅读，支持即时搜索。还有配套文档，涵盖课程推荐、职业转型指导（从后端/QA/PM 角色转向 AI），以及跟踪前沿论文的研究雷达。

简而言之： 一份实用、有观点、最新的参考指南，用于构建生产级 AI 系统和准备高级 AI 工程面试——免费阅读，欢迎社区贡献。