Falcon 3 リリースノート / 新機能

TL;DR

Technology Innovation Institute (TII) は、100億パラメータ未満のデコーダーのみの（decoder-only）大規模言語モデルファミリーである Falcon 3 をリリースしました。これらのモデルは、トレーニングの効率性と、科学、数学、コーディングにおける高いパフォーマンスを優先しており、Falcon3-10B-Base モデルは 13B パラメータ未満のモデルとして最先端のパフォーマンスを達成しています。

モデルファミリーとバリエーション

Falcon 3 ファミリーは 5 つのベースモデルで構成され、Instruct、GGUF、GPTQ-Int4、GPTQ-Int8、AWQ、および 1.58-bit バリエーションを含むさまざまな形式で利用可能です：

  • Falcon3-1B-Base: プルーニング（pruning）と知識蒸留（knowledge distillation）を通じて開発されたコンパクトなモデル。
  • Falcon3-3B-Base: プルーニング（pruning）と知識蒸留（knowledge distillation）を通じて開発されたコンパクトなモデル。
  • Falcon3-7B-Base: 14兆トークンでトレーニングされた主要な Transformer ベースのモデル。
  • Falcon3-10B-Base: 冗長なレイヤーを複製して事前学習を継続することで作成された、7B モデルのアップスケール版。
  • Falcon3-Mamba-7B-Base: 追加の 1.5兆トークンでトレーニングされた、強化された状態空間言語モデル（SSLM）。

技術革新とトレーニング手法

Falcon 3 は、トレーニングコストを削減しながらパフォーマンスを最適化するために、いくつかの戦略を採用しています：

Transformer ベースのトレーニング

7B モデルは、ウェブ、コード、STEM、多言語データを含む 14兆トークンに対し、1,024 枚の H100 GPU チップを使用してトレーニングされました。10B モデルを作成するために、TII は 7B モデルの冗長なレイヤーを複製する深度アップスケーリング（depth up-scaling）を使用し、2兆トークンの高品質なデータで事前学習を継続しました。

小型モデルにおける効率性

1B および 3B モデルは、知識蒸留とプルーニング技術を使用して開発され、厳選された 100GT 未満のデータを利用しています。

状態空間モデル (SSM) の統合

Falcon3-Mamba-7B-Base は、7B スケールにおいて主要な Transformer ベースの LLM に匹敵または凌駕する純粋な SSM です。32K のコンテキスト長をサポートし、シームレスな統合のためにオリジナルの Falcon Mamba 7B と同じアーキテクチャを維持しています。

パフォーマンス・ベンチマーク

汎用および専門能力

Falcon 3 モデルは、いくつかの領域で競争力のあるパフォーマンスを示しています：

  • 数学: Falcon3-10B-Base は MATH-Lvl5 で 22.9、GSM8K で 83.0 を記録。
  • コーディング: Falcon3-10B-Base は MBPP で 73.8 を達成し、Falcon3-10B-Instruct は Multipl-E で 45.8 を記録。
  • 推論: Falcon3-7B-Base と Falcon3-10B-Base は、BBH でそれぞれ 51.0 と 59.7 を記録。
  • 科学的知識: Falcon3-10B-Base は MMLU で 73.1、MMLU-PRO で 42.5 を達成。

比較パフォーマンス

  • Falcon3-1B-Base は gemma-2-2b と同等であり、SmolLM2-1.7B を上回ります。
  • Falcon3-3B-Base は Llama-3.1-8B および Minitron-4B-Base を凌駕します。
  • Falcon3-7B-Base は Qwen2.5-7B と同等です。
  • Falcon3-10B-Base は、13B 未満のカテゴリーにおいて最先端（state-of-the-art）です。
  • Instruct モデル: Falcon3-7B-Instruct および Falcon3-10B-Instruct は、オープンなリーダーボードにおいて 13B スケール未満のすべての instruct モデルを凌駕しています。

アーキテクチャ仕様

  • コンテキスト長: 1B モデル（最大 8k）を除き、ほとんどのモデルは最大 32k トークンをサポートしています。
  • アーキテクチャ: Transformer ベースのモデルは Llama アーキテクチャと互換性があります。Transformer モデルは 18 から 40 レイヤーの範囲であり、Mamba モデルは 64 レイヤーです。
  • 活性化関数と語彙: すべてのモデルは SwiGLU 活性化関数を使用しています。語彙サイズは、Transformer モデルでは 131K トークン、Mamba-7B では 65K トークンです。
  • 最適化: Falcon3-7B-Base はヘッド次元 256 を使用し、FlashAttention-3 による高スループットに最適化されています。

今後のロードマップとライセンス

すべての Falcon 3 モデルは Falcon LLM ライセンスの下でリリースされます。TII は、2025年1月にマルチモーダル機能（画像、ビデオ、オーディオのサポート）を備えた追加の Falcon 3 ファミリーモデルと完全なテクニカルレポートをリリースすることを発表しました。

Sources