HandsOnLLM/Hands-On-Large-Language-Models

このプロジェクトとは？

このリポジトリは、Jay Alammar と Maarten Grootendorst による書籍『Hands-On Large Language Models』の公式コンパニオンコードです。著者は、大規模言語モデル（LLM）の仕組みと使用方法を教えるために、ほぼ 300 点のカスタムメイドの図など、視覚要素に大きく依存していることから、この本を「The Illustrated LLM Book」と冗談めかして呼んでいます。

この本自体は O'Reilly から出版された 400 ページのガイドであり、この GitHub リポジトリには、12 の章に編成されたすべてのコード例が含まれています。

何が含まれているか？

各章には、ハンズオン例を案内する Jupyter ノートブック（インタラクティブなコーディングドキュメント）があります。章は基本から高度なトピックへと進みます：

言語モデルの紹介 — LLM とは何か、AI の分野における位置づけ
トークンと埋め込み — テキストがどのように断片に分割され、数値に変換されるか
Transformer LLM の内部を見る — 現代の LLM を支える内部アーキテクチャ
テキスト分類 — テキストをカテゴリに分類するようにモデルを教える
テキストクラスタリングとトピックモデリング — 類似テキストのグループ化とテーマの発見
プロンプトエンジニアリング — LLM からより良い応答を得るための指示の作成
高度なテキスト生成技術とツール — より洗練されたテキスト生成方法
セマンティック検索と検索拡張生成 — 意味による検索と、検索と生成の組み合わせ
マルチモーダル大規模言語モデル — テキスト以外の画像、音声、その他のデータタイプを扱うモデル
テキスト埋め込みモデルの作成 — テキストをベクトルに変換する独自モデルの構築
分類のための表現モデルのファインチューニング — 分類タスク用に事前学習済みモデルを適応させる
生成モデルのファインチューニング — テキスト生成用に事前学習済みモデルを適応させる

使用方法は？

README では、16GB の VRAM を備えた T4 GPU を提供する無料のクラウドサービスである Google Colab でノートブックを実行することを強く推奨しています。すべての例は Colab で構築およびテストされているため、最も安定した環境です。他のクラウドプロバイダーでも動作するはずですが、オペレーティングシステム、Python バージョン、依存関係によって結果が若干異なる場合があります。

ローカルで実行したい人のために、すべてのパッケージをインストールするためのクイックスタートガイドを含む .setup フォルダーと、conda と PyTorch のインストールを含む完全な環境設定ガイドを含む .setup/conda フォルダーがあります。

ボーナスコンテンツ

著者はまた、本の範囲を超えたトピックを深く掘り下げるボーナスビジュアルガイドのセットを維持しています。これらには、以下の図解ガイドが含まれます：

Mamba（シーケンスモデルの一種）
量子化（モデルを圧縮して高速化）
Stable Diffusion（画像生成）
混合専門家（モデルアーキテクチャ技術）
推論 LLM（ステップバイステップで考えるモデル）
DeepSeek-R1（特定の推論モデル）

これらはリポジトリからリンクされており、無料で読むことができます。

誰のためのものか？

README に引用されているレビューによると、この本は LLM を深く実践的に理解したい人々を対象としています。初心者から独自のモデルをファインチューニングしたい人まで。レビュアーには、Andrew Ng（DeepLearning.AI 創設者）、Nils Reimers（sentence-transformers の作成者）、Josh Starmer（StatQuest）、Luis Serrano、Leland McInnes（UMAP と HDBSCAN の作成者）が含まれます。

主な事実

著者：Jay Alammar と Maarten Grootendorst、両者とも有名な AI 教育者
出版社：O'Reilly（2024）
ISBN：978-1098150969
入手先：Amazon、O'Reilly、Kindle、Barnes and Noble、Shroff Publishers（インド）、Goodreads
形式：12 個の Jupyter ノートブック、各章に 1 つ、それぞれに「Colab で開く」ボタンが 1 つ付いています
費用：コードは GitHub で無料；本自体は有料製品です

要するに：明確なビジュアルと動作するコードで LLM を実践的に学びたいなら、このリポジトリは高く評価されている本のすべての例を、ブラウザで実行できる状態で提供します。