skindhu/Build-A-Large-Language-Model-CN

《Build a Large Language Model (From Scratch)》是一本深入探讨大语言模型原理与实现的电子书，适合希望深入了解 GPT 等大模型架构、训练过程及应用开发的学习者。为了让更多中文读者能够接触到这本极具价值的教材，我决定将其翻译成中文，并通过 GitHub 进行开源共享。

解決する問題

このプロジェクトは、書籍『Build a Large Language Model (From Scratch)』の包括的な中国語翻訳を提供し、中国語を話す開発者や研究者が言語の壁を乗り越えて、大規模言語モデル（LLM）の基本原理を習得できるように支援します。

仕組み

このプロジェクトは、元の教科書の章ごとの構造化された翻訳を提供し、データ処理やアテンションメカニズムから、スクラッチでのGPTモデルの構築、事前学習、ファインチューニングまでを網羅しています。元のコード例と翻訳された図をすべて含み、読者がハンズオンでチュートリアルに従い、これらのモデルが技術レベルでどのように機能するかを理解することを奨励します。

対象読者

AI研究者、ソフトウェア開発者、そしてAIツールの使用を超えて、TransformerモデルやトレーニングループなどのLLMの基盤となるアーキテクチャと実装の詳細を理解したい学生向けに設計されています。

ハイライト

  • 教科書の完全な中国語翻訳。すべての図と技術コンテンツを含みます。
  • スクラッチからGPTモデルを構築およびトレーニングするための実用的なコード実装を含みます。
  • パラメータ効率の良いファインチューニングのためのLoRA（低ランク適応）などの高度なトピックをカバーします。
  • PyTorchと高度なトレーニング技術に関する補足付録を提供します。
  • GitHubでホストされているリソースへの一般的なアクセス問題をトラブルシューティングするためのガイドを含みます。

関連

  • プロジェクト
    marcelroed/gigatoken

    SIMD最適化されたプリトークナイゼーションにより、HuggingFaceのトークナイザーと比較して最大1000倍の高速化を実現する、言語モデリング用の高性能Rustベースのトークナイザー。

  • プロジェクト
    groupultra/telegram-search

    ベクトル埋め込みとRAGを使用して、チャット履歴の意味検索とAI駆動の要約を可能にする、個人用Telegramメッセージのバックアップおよび検索ツール。

  • プロジェクト
    raiyanyahya/how-to-train-your-gpt

    LLaMA 3スタイルのGPTを完全なスクラッチから構築することを教える、インタラクティブな12章構成の教科書です。すべてのコード行に「何」と「なぜ」の注釈が付いており、必要なのは基本的なPythonのみで、数学やMLの背景知識は不要です。現代のLLMが内部でどのように機能するかを真に理解したい開発者に最適です。

  • プロジェクト
    JohnSnowLabs/spark-nlp

    Spark NLPは、Apache Sparkネイティブのライブラリであり、200以上の言語に対応した膨大な数の事前学習済みNLPおよびLLMモデル（BERT、Llama-2、Whisper、Vision Transformersなど）を提供します。CPU、GPU、Apple-silicon、AArch64ビルドをサポートし、TensorFlow/ONNX/OpenVINOからのモデルインポートが可能で、あらゆるSparkクラスター（Databricks、EMR、GCP Dataprocなど）で実行できます。pipまたはMavenでインストールし、`sparknlp.start()`でSparkセッションを開始して事前学習済みパイプラインを読み込むことで、エンティティ、品詞タグ、埋め込み、翻訳、生成テキストなどのトークンレベルの注釈を取得できます。Apache 2.0ライセンスで提供されています。