decodingai-magazine/second-brain-ai-assistant-course
Learn to build your Second Brain AI assistant with LLMs, agents, RAG, fine-tuning, LLMOps and AI systems techniques.
这是什么?
一个开源、自定进度的课程,教你如何构建一个生产就绪的AI助手,它可以与你的个人知识库对话——你的“第二大脑”。该课程由Decoding AI与MongoDB、Comet、Opik、Unsloth和ZenML合作创建。
“第二大脑”概念(由Tiago Forte提出)指的是你的个人笔记、想法和资源集合。你将构建的AI助手可以基于该集合回答问题、总结文档并提供见解——无需手动搜索笔记。
你将构建什么
课程将引导你构建两个Python应用:
second-brain-offline— “幕后”管道:数据处理、RAG(检索增强生成)设置和模型微调。second-brain-online— 实际回答你问题的AI助手。
课程结构(6个模块)
| 模块 | 你将学到什么 | 代码? |
|---|---|---|
| 0 | 整个课程概述 | 否 |
| 1 | 为你的第二大脑架构AI助手 | 否 |
| 2 | 数据管道:处理Notion数据、爬取文档、评分内容质量、存储到数据库 | 是 |
| 3 | 将嘈杂文档转化为高质量微调数据集(通过蒸馏) | 是 |
| 4 | 微调开源LLM(Llama 3.1 8B)以总结文档,然后部署为API | 是 |
| 5 | 使用高级技术构建RAG管道(上下文检索、父检索、向量搜索) | 是 |
| 6 | 构建智能体RAG推理管道以及监控/评估(LLMOps) | 是 |
你将获得的关键技能
- LLM系统架构和MLOps最佳实践
- 使用ZenML进行管道编排
- 使用Opik进行LLMOps和RAG评估
- 网络爬取和内容规范化
- 使用LLM和启发式方法进行质量评分
- 通过蒸馏生成数据集
- 使用Unsloth和Comet微调Llama模型
- 无服务器模型部署到Hugging Face
- 高级RAG和智能体构建(使用smolagents)
- 现代Python工具(uv、ruff)
使用的数据
课程使用约100个页面和500多个AI/ML资源链接(GenAI、LLMs、RAG、MLOps等)的精选列表,这些资源原本保存在Notion中。公共S3存储桶中提供免费快照——无需Notion账户。然而,管道足够灵活,如果你想使用自己的数据,可以加载任何Notion数据库。
成本
课程本身免费且开源。运行代码大约花费1-5美元:
- OpenAI API:约3美元
- Hugging Face专用端点(可选):约2美元
你可以通过选择经济高效的选项,以约1美元完成整个课程。仅阅读完全免费。
适合谁?
- ML/AI工程师 — 构建生产就绪的智能体RAG和LLM系统(超越笔记本教程)
- 数据/软件工程师 — 架构端到端的智能体RAG和LLM应用
- 数据科学家 — 使用LLMOps和软件工程最佳实践实现生产AI系统
先决条件
- 技能:中级Python;初学者级机器学习、LLM和RAG
- 硬件:现代笔记本电脑/PC(GPU可选——提供云替代方案)
- 水平:中级(但README指出“只要稍加努力和耐心,任何人都能做到”)
开始使用
- 克隆仓库
- 阅读随附文章(在README中链接)
- 设置并运行代码以复现结果
- 深入实现细节
详细的设置说明位于每个应用自己的文档文件夹中。
支持与贡献
- 问题/疑问:打开GitHub issue
- 贡献:Fork仓库、修复bug、提交pull request(参见CONTRIBUTING.md)
许可证
MIT许可证。
核心贡献者
- Paul Iusztin — AI/ML工程师
- Ernesto Larios — AI工程师
- Anca Ioana Muscalagiu — SWE/ML工程师
底线
如果你想学习如何构建一个真实的、生产级的AI助手,它可以从你自己的知识库中检索和总结信息——使用现代LLMOps和软件工程实践——这个免费、动手实践的课程为你提供了完整的代码库、逐步课程和可适应你自己项目的模板。
相关
- 项目
- 项目
- 项目
- 项目