huggingface/trl

解決する問題

TRL は、基盤モデルのポストトレーニングのための包括的なツールキットを提供します。強化学習と微調整技術を使用して、モデルを人間の好みや特定のタスクに合わせるプロセスを簡素化し、開発者が初期の事前トレーニングを超えて、より有用で安全なモデルを作成できるようにします。

仕組み

TRL は Hugging Face Transformers エコシステムに基づいて構築されており、標準の Transformers トレーナーをラップする専門のトレーナークラスを提供します。いくつかの高度なポストトレーニングアルゴリズムを実装しています：

• SFT（教師あり微調整）：ラベル付きデータセットでの基本的な微調整。
• GRPO（グループ相対方策最適化）：推論モデル（DeepSeek-R1 など）に使用されるメモリ効率の高いアルゴリズム。
• DPO（直接選好最適化）：ペアの選好に基づいてモデルを調整します。
• KTO（Kahneman-Tversky 最適化）：ペアではなくバイナリフィードバック（望ましい vs 望ましくない）を使用してモデルを調整します。

Accelerate と統合してマルチ GPU スケーリング、PEFT と統合してメモリ効率の高いトレーニング（LoRA/QLoRA）、Unsloth と統合してカーネルレベルの高速化を実現します。

対象読者

単一 GPU からマルチノードクラスターまで、さまざまなハードウェア設定で大規模言語モデルや基盤モデルをポストトレーニング、調整、微調整する必要がある機械学習エンジニアや研究者。

ハイライト

• 多様なトレーナースイート：SFT、GRPO、DPO、KTO、報酬トレーニング用の専用トレーナーが含まれます。
• メモリ効率：融合された LM ヘッドを使用して、最大 8k トークンのシーケンスでピーク VRAM 使用量を 52% から 82% 削減します。
• スケーラブルなインフラストラクチャ：Hugging Face Accelerate を介して DDP、DeepSpeed ZeRO、FSDP をネイティブサポート。
• ノーコードオプション：Python コードを書かずにポストトレーニングメソッドを実行するためのコマンドラインインターフェース（CLI）が含まれています。