2023年 オープンLLM年次レビュー

TL;DR

2023年はオープンソースの大規模言語モデル（LLM）が急速に拡大した年であり、3Bから70Bパラメータに及ぶ多くの新しいリリース、広範なファインチューニング手法、そして研究者や開発者にとってLLMへのアクセスを大幅に容易にするツールが登場しました。

🍜 学習済みLLMの構築方法

  • Architecture – 最先端のオープンLLMの多くは、decoder-only Transformer（2017年の論文による古典的な「transformer」設計）を使用しています。バリエーションには、ALiBi、RoPE、RMSNorm、SwiGLU、およびFlash-Attention、GQA、sliding windowsなどのアテンションの調整が含まれます。
  • Training dataset – テキストデータ（自然言語、コード、表、数式）はサブワード単位にトークン化されます。語彙数は通常32k〜200kトークンに及びます。現代のデータセットには、数千億から数兆トークンが含まれています。
  • Tokenizer – 生のテキストを数値のトークンIDに変換します。データセットのトークン数は、主要なスケール指標となります。
  • Training hyper-parameters – 重みの更新方法を制御する学習率、バッチサイズ、およびその他のオプティマイザの設定を定義します。
  • Compute – 大規模なトレーニングには、膨大なGPU/TPUクラスターと慎重なモニタリングが必要です。
  • Weights – 学習の結果得られたパラメータはモデルのチェックポイントとしてリリースされ、推論やダウンストリームのファインチューニングを可能にします。
  • Fine-tuning – オープンな重みにより、ゼロからトレーニングする場合よりもはるかに少ない計算量で、特定のタスクへの低コストな適応が可能になります。

🗝️ 2022年：サイズ重視からデータ重視のスケーリングへ

  • BLOOM (BigScience, 176B params, 350B tokens, multilingual) – オープンで、完全に文書化されたデータパイプライン。
  • OPT (Meta, 175B params, 180B tokens) – 計算効率の高いトリックを用いたGPT-3レベルのパフォーマンス。
  • GLM-130B (Tsinghua/Zhipu.AI, 130B params, 400B tokens) – DeepNormとrotary embeddingsを備えた、GPT-3に匹敵するモデル。
  • Smaller open models – Galactica (最大120B, 科学テキスト) と GPT-NeoX-20B (20B, 500B tokens) が、完全にオープンなスタックの実現可能性を示しました。
  • Shift in scaling law – DeepMindのChinchilla論文 (70B params, 1.4T tokens) は、固定された計算予算において、より多くのデータでトレーニングされた小型モデルの方が、データ不足の大型モデルよりも優れた性能を発揮することを示しました。この洞察は、コミュニティ全体での「より多くのデータ、より小さなモデル」への動きを加速させました。

🌊 2023年：オープンリリースの波

小型LLMの台頭 (3B–70B)

  • LLaMA (Meta, Feb) – 1.4Tトークンでトレーニングされた65Bパラメータモデル。6B/13Bバリアントは1Tトークンでトレーニング。非商用ライセンス。
  • Pythia (EleutherAI, Apr) – 公開されたデータでトレーニングされた、スケーリング・スイートの公開モデル。
  • MPT (MosaicML, May) – 7Bおよび30Bモデル。商用利用可能なライセンス。英語とコードの1Tトークンでトレーニング。
  • Falcon (TII-UAE, Jun) – 7B/30B (後に180B) モデル。1–1.5Tトークン。詳細なテクニカルレポート。
  • StableLM (StabilityAI, Apr & Aug) – 3B/7Bベースモデル (1.5Tトークン) と、その後の混合データソースによるv2シリーズ。
  • X-Gen (Salesforce, Jun) – 7Bモデル。1.5Tトークン。段階的なデータスケジューリング。
  • LLaMA-2 (Meta, Jul) – 7–70Bモデル。2Tトークン。寛容なコミュニティライセンス。広範なRLHFアライメント。
  • Mistral-7B (Mistral.AI, Sep) – 非公開のウェブデータでトレーニング。後にMixtral-8×7BがMoEルーティングを導入。
  • Qwen (Alibaba, Sep) – 7–70Bモデル。2.4Tトークン。英語と中国語のバイリンガルに重点。
  • Yi (01-AI, Nov) – 6–34Bモデル。3Tトークン。強力なリーダーボード・パフォーマンス。
  • DeciLM, SOLAR, and others (Deci, Upstage, etc.) – 7–10Bスケールでの継続的な漸進的改善。

これらのリリースに共通するもの：

  • Decoder-only Transformerコア。
  • 様々なアーキテクチャの調整 (ALiBi, RoPE, RMSNorm, SwiGLU, Flash-Attention, GQA, sliding windows)。
  • 非商用から完全な許容ライセンスまでの、様々なライセンスの下でのオープンな重み。
  • Chinchillaの洞察を反映した、膨大なトークン数でトレーニングされた小型モデルへの重点。

あらゆる場所での対話モデル

  • Chat-based fine-tuning – マルチターン対話データを用いた教師あり学習。
  • Instruction fine-tuning (IFT) – 指示と回答のペアを使用。多くは合成データ（例：GPT-4生成）。
  • RLHF – 人間がランク付けした回答を用いて報酬モデルを学習させ、それによって強化学習をガイドする。コストはかかるが安全性を向上させる。
  • RLAIF – 報酬スコアリングのために、人間のランク付けの代わりに高品質なLLMを使用する。
  • Direct Preference Optimization (DPO) – 別の報酬モデルを介さず、ランキングデータからモデルを直接更新する。

2023年のリリースの多くは、ベースのチェックポイントとチャット用に調整されたバリアントの両方を提供しました (例: LLaMA-2-Chat, Falcon-Instruct, MPT-Chat, Qwen-Chat, Yi-Chat)。LLaMA-2の安全性に焦点を当てたアライメントは特に注目されました。

コミュニティの活動

  • 指示およびチャットデータセットの大量の拡散: WebGPT, HH-RLHF, P3, FLAN, Self-Instruct, HC3, Alpaca, OIG, Vicuna, UltraChat, Open-Orca, UltraFeedback, Zephyr, OpenHermes, Starling, Nectarなど。
  • ベースモデルの上に構築されたコミュニティによるファインチューニング (Alpaca, Koala, Dolly, UltraLLaMA, Hermes, Capybara, OpenChatなど)。多くはRLHF、DPO、またはRLAIFを活用。
  • エコシステムが好循環を生み出した：高品質なベースモデルが新しいデータセットを可能にし、それがさらに強力なファインチューニング済みモデルを生み出す。

アクセスの民主化

モデルマージ (極端なカスタマイズ)

  • 複数の互換性のあるモデルの重みの平均または加重平均をマージする。時には干渉を考慮した手法 (例: ties merging) を適用することもある。これにより、複数のチェックポイントの強みを組み合わせた llama2-zephyr-orca-ultra のようなハイブリッドが生まれる。

Parameter-efficient fine-tuning (PEFT)

  • ベースモデルを凍結し、軽量なアダプター (例: LoRA, IA³) をトレーニングする。アダプターの重みのみを保存・共有すればよいため、ストレージと計算要件が劇的に削減される。

量子化 (どこでも実行可能に)

  • 数値精度を低下させる (float32 → float16 → int8 → 4-bit) ことで、メモリ使用量を削減できる。30Bモデルの場合、大規模モデルでのパフォーマンス低下を最小限に抑えつつ、約66 GB (float16) から約33 GB (8-bit) または約16 GB (4-bit) に減少する。
  • 人気のツールキット: bitsandbytes, GPTQ, AWQ。コミュニティのコンバーター (例: TheBloke) により、量子化されたチェックポイントが広く利用可能になっている。

次は何が来るか？

  • Mixture-of-Experts (MoE) – Mixtral-8×7Bは、各トークンを8つのサブモデルのうち2つにルーティングし、計算量を比例させずにパラメータ数をスケールさせる。
  • State-space models – MambaやStriped Hyenaは、特定のタスクでTransformerを上回る可能性のあるSSMアーキテクチャを導入している。研究はまだ初期段階である。

まとめ

  • 2023年はオープンLLMのリリースが爆発的に増加し、学術界、産業界、ホビーコミュニティ全体で迅速な実験が可能になった。
  • Chinchillaのスケーリングの洞察により、トレンドは「大きいほど良い」から「より小さく、データが豊富なモデル」へとシフトした。
  • 新しいファインチューニングのパラダイム (RLHF, DPO, アダプター, マージ) が、パーソナライゼーションの選択肢を劇的に拡大させた。
  • 量子化とPEFTがハードウェアの障壁を下げ、コンシューマグレードのGPUでもモデルを実行できるようにした。
  • 中国からの新たなプレーヤー (Qwen, Yi) や新しいアーキテクチャ (MoE, SSM) は、オープンソースLLMの景観が今後も非常に競争力のあるものになることを示唆している。

Sources