decodingai-magazine/second-brain-ai-assistant-course
Learn to build your Second Brain AI assistant with LLMs, agents, RAG, fine-tuning, LLMOps and AI systems techniques.
これは何か？
オープンソースで自己学習型のコースで、個人の知識ベースとチャットする本番対応AIアシスタント（あなたの「セカンドブレイン」）の構築方法を学びます。このコースはDecoding AIがMongoDB、Comet、Opik、Unsloth、ZenMLと協力して作成しました。
「セカンドブレイン」の概念（Tiago Forteによる）は、あなたの個人的なノート、アイデア、リソースのコレクションを意味します。あなたが構築するAIアシスタントは、そのコレクションに基づいて質問に答え、ドキュメントを要約し、洞察を提供できます。手動でノートを検索する必要はありません。
何を構築するか
コースでは2つのPythonアプリケーションの構築を段階的に学びます：
second-brain-offline— 「舞台裏」のパイプライン：データ処理、RAG（検索拡張生成）セットアップ、モデルファインチューニング。second-brain-online— あなたの質問に回答を提供する実際のAIアシスタント。
コース構成（6モジュール）
| モジュール | 学ぶ内容 | コード？ |
|---|---|---|
| 0 | コース全体の概要 | いいえ |
| 1 | セカンドブレイン用のAIアシスタントの設計 | いいえ |
| 2 | データパイプライン：Notionデータの処理、ドキュメントのクロール、コンテンツ品質のスコアリング、データベースへの保存 | はい |
| 3 | ノイズの多いドキュメントを高品質なファインチューニングデータセットに変換（蒸留による） | はい |
| 4 | オープンソースLLM（Llama 3.1 8B）をファインチューニングしてドキュメントを要約し、APIとしてデプロイ | はい |
| 5 | 高度な技術を使用したRAGパイプラインの構築（コンテキスト検索、親検索、ベクトル検索） | はい |
| 6 | エージェント型RAG推論パイプラインとモニタリング/評価（LLMOps）の構築 | はい |
習得できる主要スキル
- LLMシステムアーキテクチャとMLOpsのベストプラクティス
- ZenMLを使用したパイプラインオーケストレーション
- Opikを使用したLLMOpsとRAG評価
- Webクローリングとコンテンツ正規化
- LLMとヒューリスティックを使用した品質スコアリング
- 蒸留によるデータセット生成
- UnslothとCometを使用したLlamaモデルのファインチューニング
- Hugging Faceへのサーバーレスモデルデプロイ
- 高度なRAGとエージェント構築（smolagentsを使用）
- 最新のPythonツール（uv、ruff）
使用データ
コースでは、元々Notionに保存されていたAI/MLリソース（GenAI、LLM、RAG、MLOpsなど）の約100ページと500以上のリンクの厳選リストを使用します。無料のスナップショットが公開S3バケットで利用可能です。Notionアカウントは不要です。ただし、パイプラインは柔軟で、独自のデータを使用したい場合は任意のNotionデータベースをロードできます。
コスト
コース自体は無料でオープンソースです。コードの実行には約1〜5ドルかかります：
- OpenAI API：約3ドル
- Hugging Face専用エンドポイント（オプション）：約2ドル
コスト効率の高いオプションを選ぶことで、約1ドルでコース全体を完了できます。読み取りのみは完全に無料です。
対象者
- ML/AIエンジニア — 本番対応のエージェント型RAGおよびLLMシステムを構築（ノートブックチュートリアルを超えて）
- データ/ソフトウェアエンジニア — エンドツーエンドのエージェント型RAGおよびLLMアプリケーションを設計
- データサイエンティスト — LLMOpsとソフトウェアエンジニアリングのベストプラクティスを使用して本番AIシステムを実装
前提条件
- スキル：中級レベルのPython。初心者レベルの機械学習、LLM、RAG
- ハードウェア：最新のラップトップ/PC（GPUはオプション。クラウド代替あり）
- レベル：中級（ただしREADMEには「少しの努力と忍耐で誰でもできる」と記載）
始め方
- リポジトリをクローン
- 付属の記事を読む（READMEにリンク）
- コードをセットアップして実行し、結果を再現
- 実装を深く掘り下げる
詳細なセットアップ手順は各アプリのドキュメントフォルダにあります。
サポートと貢献
- 質問/問題：GitHub issueを開く
- 貢献：リポジトリをフォークし、バグを修正し、プルリクエストを送信（CONTRIBUTING.mdを参照）
ライセンス
MITライセンス。
主要貢献者
- Paul Iusztin — AI/MLエンジニア
- Ernesto Larios — AIエンジニア
- Anca Ioana Muscalagiu — SWE/MLエンジニア
結論
自分の知識ベースから情報を取得して要約する、本物の本番グレードのAIアシスタントを構築する方法を学びたいなら、最新のLLMOpsとソフトウェアエンジニアリングの実践を使用して、この無料の実践コースが完全なコードベース、ステップバイステップのレッスン、そして自分のプロジェクトに適応できる作業用テンプレートを提供します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト