lucidrains/PaLM-rlhf-pytorch

何を解決するか

このプロジェクトは、PaLMアーキテクチャに適用された人間のフィードバックからの強化学習（RLHF）のPyTorch実装を提供し、開発者が大規模言語モデルを人間の好みに合わせられるようにします。

動作方法

ワークフローは3つの主要な段階で構成されています：

1. ベースモデルの学習：大規模なデータセット上で自己回帰的なPaLMトランスフォーマーを学習します。
2. 報酬モデルの学習：キュレートされた人間のフィードバックを使用して、モデルの応答をスコアリングする RewardModel を学習します。実装では、標準的なファインチューニングと低ランク適応（LoRA）の両方をサポートしており、過学習を軽減します。
3. RLHF学習：RLHFTrainer は事前学習済みのPaLMモデルと学習済みの報酬モデルを受け取り、報酬信号に基づいて言語モデルの出力を最適化します。

対象ユーザー

ChatGPTなどのモデルで使用されたRLHFプロセスをオープンソースフレームワークで再現したい研究者や開発者向けです。

特徴

• PaLMアーキテクチャ：PaLMトランスフォーマー設計に基づいています。
• LoRAサポート：効率的な報酬モデルのファインチューニングのための低ランク適応を含みます。
• Hugging Face統合：分散学習に accelerate ライブラリを使用します。
• Flash Attention：メモリ効率と速度の向上のために統合されています。