decodingai-magazine/second-brain-ai-assistant-course

Learn to build your Second Brain AI assistant with LLMs, agents, RAG, fine-tuning, LLMOps and AI systems techniques.

这是什么?

一个开源、自定进度的课程,教你如何构建一个生产就绪的AI助手,它可以与你的个人知识库对话——你的“第二大脑”。该课程由Decoding AI与MongoDB、Comet、Opik、Unsloth和ZenML合作创建。

“第二大脑”概念(由Tiago Forte提出)指的是你的个人笔记、想法和资源集合。你将构建的AI助手可以基于该集合回答问题、总结文档并提供见解——无需手动搜索笔记。

你将构建什么

课程将引导你构建两个Python应用:

  • second-brain-offline — “幕后”管道:数据处理、RAG(检索增强生成)设置和模型微调。
  • second-brain-online — 实际回答你问题的AI助手。

课程结构(6个模块)

模块 你将学到什么 代码?
0 整个课程概述 否
1 为你的第二大脑架构AI助手 否
2 数据管道:处理Notion数据、爬取文档、评分内容质量、存储到数据库 是
3 将嘈杂文档转化为高质量微调数据集(通过蒸馏) 是
4 微调开源LLM(Llama 3.1 8B)以总结文档,然后部署为API 是
5 使用高级技术构建RAG管道(上下文检索、父检索、向量搜索) 是
6 构建智能体RAG推理管道以及监控/评估(LLMOps) 是

你将获得的关键技能

  • LLM系统架构和MLOps最佳实践
  • 使用ZenML进行管道编排
  • 使用Opik进行LLMOps和RAG评估
  • 网络爬取和内容规范化
  • 使用LLM和启发式方法进行质量评分
  • 通过蒸馏生成数据集
  • 使用Unsloth和Comet微调Llama模型
  • 无服务器模型部署到Hugging Face
  • 高级RAG和智能体构建(使用smolagents)
  • 现代Python工具(uv、ruff)

使用的数据

课程使用约100个页面和500多个AI/ML资源链接(GenAI、LLMs、RAG、MLOps等)的精选列表,这些资源原本保存在Notion中。公共S3存储桶中提供免费快照——无需Notion账户。然而,管道足够灵活,如果你想使用自己的数据,可以加载任何Notion数据库。

成本

课程本身免费且开源。运行代码大约花费1-5美元:

  • OpenAI API:约3美元
  • Hugging Face专用端点(可选):约2美元

你可以通过选择经济高效的选项,以约1美元完成整个课程。仅阅读完全免费。

适合谁?

  • ML/AI工程师 — 构建生产就绪的智能体RAG和LLM系统(超越笔记本教程)
  • 数据/软件工程师 — 架构端到端的智能体RAG和LLM应用
  • 数据科学家 — 使用LLMOps和软件工程最佳实践实现生产AI系统

先决条件

  • 技能:中级Python;初学者级机器学习、LLM和RAG
  • 硬件:现代笔记本电脑/PC(GPU可选——提供云替代方案)
  • 水平:中级(但README指出“只要稍加努力和耐心,任何人都能做到”)

开始使用

  1. 克隆仓库
  2. 阅读随附文章(在README中链接)
  3. 设置并运行代码以复现结果
  4. 深入实现细节

详细的设置说明位于每个应用自己的文档文件夹中。

支持与贡献

  • 问题/疑问:打开GitHub issue
  • 贡献:Fork仓库、修复bug、提交pull request(参见CONTRIBUTING.md)

许可证

MIT许可证。

核心贡献者

  • Paul Iusztin — AI/ML工程师
  • Ernesto Larios — AI工程师
  • Anca Ioana Muscalagiu — SWE/ML工程师

底线

如果你想学习如何构建一个真实的、生产级的AI助手,它可以从你自己的知识库中检索和总结信息——使用现代LLMOps和软件工程实践——这个免费、动手实践的课程为你提供了完整的代码库、逐步课程和可适应你自己项目的模板。

相关

  • 项目
  • 项目
  • 项目
  • 项目