SmolLM リリース: 高性能小型言語モデル

Hugging Face は SmolLM を発表しました。これは最先端の小型言語モデル（SLM）ファミリーで、135M、360M、1.7B パラメータの3つのサイズで提供されます。これらのモデルはスマートフォンやラップトップなどのデバイスへのローカル展開を想定して設計されており、高品質なデータキュレーションによる高性能を実現することで推論コストを削減し、ユーザーのプライバシーを向上させます。

データキュレーションと SmolLM-Corpus

SmolLM の性能は、SmolLM-Corpus と呼ばれる、3つの主要コンポーネントからなる専門的なトレーニングセットによって支えられています。

  • Cosmopedia v2: 教科書、ストーリー、記事などを含む 3,900 万件の合成ドキュメント（280 億トークン）のコレクションです。BISAC 書籍分類システムの 34,000 トピックに基づく洗練されたプロンプト戦略を用いて、Mixtral-8x7B-Instruct-v0.1 により生成されました。
  • FineWeb-Edu (deduplicated): FineWeb データセットから教育品質分類器でフィルタリングされた、2,200 億トークンの教育用ウェブサンプルです。
  • Python-Edu: The Stack から抽出された教育用 Python サンプルで、4,000 万トークンです。Llama3 で学習された教育コード分類器でフィルタリングされています。

Cosmopedia v2 による合成データの改善

Cosmopedia v2 を前バージョンより向上させるため、Hugging Face はプロンプト最適化に注力しました。教師なしクラスタリングの代わりに BISAC 書籍分類を用いて 34,000 のトピックを定義し、最も関連性の高いウェブページをシードサンプルとして取得する検索ツールを実装しました。

生成スタイルの研究により、中学生向けの教科書が（MMLU を除く）ほとんどのベンチマークで最良の性能を示し、ストーリーは常識推論を向上させることが分かりました。その結果、v2 の最終ミックスは中学生向けコンテンツ 40%、大学向けコンテンツ 30%、混合スタイル 30% となっています。

モデルアーキテクチャとトレーニング

SmolLM モデルは、20% のクールダウンフェーズを持つ台形学習率スケジューラを使用してトレーニングされました。トレーニング量はモデルサイズに応じて異なります。

  • 135M および 360M モデル: 6000 億トークンでトレーニング。
  • 1.7B モデル: 1 兆トークンでトレーニング。

技術仕様

モデルサイズ アーキテクチャ備考 コンテキスト長 語彙サイズ
135M Grouped-Query Attention (GQA), Depth-prioritized 2048 49,152
360M Grouped-Query Attention (GQA), Depth-prioritized 2048 49,152
1.7B 従来のアーキテクチャ 2048 49,152

すべてのモデルは埋め込みの共有（embedding tying）を利用しています。135M と 360M のモデルは、ローカルデバイスの制約に最適化するために MobileLLM に似た設計を採用しています。

パフォーマンス評価

SmolLM モデルは、常識推論および世界知識ベンチマークにおいて、いくつかの競合する小型言語モデルを上回ります。

  • SmolLM-135M は、トークン数が少ない（600B 対 1T）にもかかわらず MobileLM-125M を上回ります。
  • SmolLM-360M は、Qwen2-500M や MobileLM-350M を含む、500M パラメータ未満のすべてのモデルを上回ります。
  • SmolLM-1.7B は、Microsoft の Phi-1.5、Qwen2-1.5B、MobileLM-1.5B など、2B パラメータ未満の他のモデルを上回ります。

コーディングタスクでは、SmolLM-1.7B が HumanEval で 24 の pass@1 スコアを達成しました。

インストラクションチューニングとアラインメント

インストラクションチューニング版は、WebInstructSub データセットの許容的サブセットと StarCoder2-Self-OSS-Instruct を使用して作成されました。アラインメントは、HelpSteer（135M と 1.7B 用）および argilla/dpo-mix-7k（360M 用）を用いた Direct Preference Optimization（DPO）でさらに洗練されました。

ローカル展開とハードウェア要件

SmolLM は低メモリ環境向けに最適化されています。モデルは iPhone（通常 6GB〜8GB の DRAM を搭載）を含むさまざまなハードウェアと互換性があります。Hugging Face は transformers のチェックポイント、ONNX のチェックポイントをリリースしており、llama.cpp 互換の GGUF バージョンの提供も計画しています。

Sources