liguodongiot/llm-action

概要

llm-action は、大規模言語モデル（LLM）のトレーニング、ファインチューニング、実行、圧縮、評価を学ぶためのハンズオンチュートリアル、記事、サンプルコードのコレクションです。主に中国語で書かれており、「吃果冻不吐果冻皮」という著者によってメンテナンスされています。このリポジトリは、サーバーのセットアップからモデルの本番運用まで、LLMプロジェクトのライフサイクル全体を案内するガイドツアーです。

内容

READMEは完全なカリキュラムのように構成されています。以下をカバーしています：

• トレーニング – Alpaca、ChatGLM、Vicuna、LLaMAなどのモデルに対する実践的なウォークスルー。フルファインチューニング、LoRA、QLoRA、RLHF（人間のフィードバックからの強化学習）などの技術を使用します。各ウォークスルーは詳細な記事（主にZhihu上）にリンクし、多くの場合対応するコードが含まれています。
• ファインチューニング理論 – 「パラメータ効率的」ファインチューニングとは何か、BitFit、P-Tuning、Adapter、LoRA、QLoRAなどの方法がどのように機能するかを説明する7部構成のシリーズ。
• 分散トレーニング – トレーニングを複数のGPUに分割する方法（データ並列、パイプライン並列、テンソル並列など）と、PyTorch、Megatron-LM、DeepSpeedなどのフレームワークがこれをどのように実現するかに関する記事。
• 推論 – トレーニング済みモデルを高速に応答させる方法。有名な推論エンジン（vLLM、TensorRT-LLM、Triton）のガイドや、KV Cacheや連続バッチ処理などの最適化テクニックを含みます。
• 圧縮 – 量子化（GPTQ、AWQ、QLoRAなど）、プルーニング、知識蒸留、低ランク分解を通じてモデルを小さくし、実行コストを削減する方法。それぞれに解説記事があります。
• 評価 – モデルの性能をテストするベンチマーク（C-Eval、CMMLU、LongBench、SWE-benchなど）とOpenCompassなどのツール。
• 大きなトピック – データエンジニアリング、プロンプトエンジニアリング、LLMの実製品への応用、中国製ハードウェアへのモデル適応、AIコンパイラ、面接質問。

構成

詳細な目次がすべてを明確なセクションに分けています。各セクションには以下が含まれます：

• 記事のリスト（リンク付き）、または
• テーブル（チュートリアルとリポジトリ内の対応するコードフォルダをペアにしたもの）、または
• 簡単なメモ（「待更新…」（更新予定）など、まだ何もない場合）。

したがって、関心のあるトピックに直接ジャンプし、著者が用意したリンクをそのままたどることができます。

対象読者

LLMについて実践的でガイド付きの学習を求める人々を対象としています。開発者、学生、研究者など、理論を読むことから自分のハードウェアで実際にトレーニングやファインチューニングを実行することに移りたい人々です。著者はWeChatグループと公式アカウントも運営しており、学習者が質問できるコミュニティがあることを示しています。

コードとコミュニティ

リポジトリには、チュートリアルに対応するすぐに使えるコード（例：llm-train/alpaca、llm-train/chatglm-lora、llm-train/peft）が含まれています。バッジリンクは、著者のZhihu、Juejin、CSDNのページ（記事の大部分が掲載されている場所）と、コミュニティディスカッション用のWeChat連絡先を指しています。

注：上記のすべてはREADMEから直接取得したものです。このプロジェクトは公式のフレームワークやライブラリを主張するものではなく、厳選された学習教材と付随コードのセットです。