Falcon 3 發佈說明 / 新功能

TL;DR

技術創新研究所 (TII) 已發佈 Falcon 3，這是一個參數規模在 100 億以下的 decoder-only 大型語言模型系列。這些模型優先考慮訓練效率，並在科學、數學和程式碼編寫方面具備高性能，其中 Falcon3-10B-Base 模型在 13B 以下參數的模型中達到了頂尖性能。

模型系列與變體

Falcon 3 系列包含五個基礎模型，提供多種格式，包括 Instruct、GGUF、GPTQ-Int4、GPTQ-Int8、AWQ 以及 1.58-bit 變體：

Falcon3-1B-Base：透過剪枝 (pruning) 和知識蒸餾 (knowledge distillation) 開發的輕量級模型。
Falcon3-3B-Base：透過剪枝 (pruning) 和知識蒸餾 (knowledge distillation) 開發的輕量級模型。
Falcon3-7B-Base：主要基於 Transformer 的模型，在 14 兆個 token 上進行訓練。
Falcon3-10B-Base：7B 模型的擴展版本，透過複製冗餘層並繼續進行預訓練而成。
Falcon3-Mamba-7B-Base：增強型狀態空間語言模型 (SSLM)，在額外的 1.5 兆個 token 上進行訓練。

技術創新與訓練方法論

Falcon 3 採用了多種策略來優化性能並降低訓練成本：

基於 Transformer 的訓練

7B 模型是使用 1,024 顆 H100 GPU 晶片，在包含網路、程式碼、STEM 和多語言數據的 14 兆個 token 上訓練而成。為了建立 10B 模型，TII 使用了深度擴展 (depth up-scaling) 技術，透過複製 7B 模型的冗餘層，並使用 2 兆個高品質數據進行持續預訓練。

小模型的效率

1B 和 3B 模型是使用知識蒸餾和剪枝技術開發的，使用了不到 100GT 的精選數據。

狀態空間模型 (SSM) 整合

Falcon3-Mamba-7B-Base 是一個純粹的 SSM，在 7B 規模上能與領先的基於 Transformer 的 LLM 媲美或超越。它支援 32K 的上下文長度 (context length)，並保持與原始 Falcon Mamba 7B 相同的架構以實現無縫整合。

性能基準測試

通用與專業能力

Falcon 3 模型在多個領域展現了具競爭力的性能：

數學：Falcon3-10B-Base 在 MATH-Lvl5 獲得 22.9 分，在 GSM8K 獲得 83.0 分。
程式碼編寫：Falcon3-10B-Base 在 MBPP 達到 73.8，而 Falcon3-10B-Instruct 在 Multipl-E 獲得 45.8 分。
推理：Falcon3-7B-Base 和 Falcon3-10B-Base 在 BBH 分別獲得 51.0 和 59.7 分。
科學知識：Falcon3-10B-Base 在 MMLU 達到 73.1，在 MMLU-PRO 達到 42.5。

對比性能

Falcon3-1B-Base 與 gemma-2-2b 旗鼓相當，並超越了 SmolLM2-1.7B。
Falcon3-3B-Base 優於 Llama-3.1-8B 和 Minitron-4B-Base。
Falcon3-7B-Base 與 Qwen2.5-7B 旗鼓相當。
Falcon3-10B-Base 是 13B 以下類別中的頂尖模型 (state-of-the-art)。
指令模型 (Instruct Models)：Falcon3-7B-Instruct 和 Falcon3-10B-Instruct 在公開排行榜上超越了所有 13B 以下規模的指令模型。

架構規格

上下文長度：大多數模型支援高達 32k tokens，除了 1B 模型僅支援高達 8k。
架構：基於 Transformer 的模型與 Llama 架構相容。Transformer 模型層數介於 18 到 40 層之間，而 Mamba 模型則有 64 層。
激活函數與詞彙表：所有模型均使用 SwiGLU 激活函數。Transformer 模型的詞彙表大小為 131K tokens，Mamba-7B 為 65K。
優化：Falcon3-7B-Base 使用 256 的 head dimension，並透過 FlashAttention-3 進行優化以實現高吞吐量。

未來藍圖與授權

所有 Falcon 3 模型均根據 Falcon LLM 授權發佈。TII 已宣布將於 2025 年 1 月發佈額外的 Falcon 3 系列模型，這些模型將具備多模態能力（支援圖像、影片和音訊）以及完整的技術報告。