allenai/Olmo-core

解決する課題

Olmo-coreは、大規模言語モデル（LLM）、特にOLMoシリーズのモデルを構築およびトレーニングするための不可欠なビルディングブロックを提供します。ゼロからのトレーニング、継続的なトレーニング（アニーリング）、およびこれらのモデルでの推論実行のプロセスを効率化します。

仕組み

このライブラリは、コアとなるモデリングコンポーネントと公式のトレーニングスクリプトを提供します。ユーザーは torchrun または Beaker launch CLI を使用してトレーニングやアニーリングのスクリプトを実行できます。推論については、Hugging Face Transformers および vLLM と統合して高スループットな生成を実現するほか、ライブラリ内で直接利用可能なベータ版の自己回帰生成機能も提供しています。

対象ユーザー

OLMoモデルのトレーニング、微調整、デプロイを行いたいAI研究者や開発者、およびLLMトレーニングパイプラインを標準化された方法で実装したい方に最適です。

ハイライト

• 公式トレーニングスクリプト: OLMo-2およびOLMo-3モデルファミリー（7Bおよび32Bパラメータ）向けのすぐに使えるスクリプトが含まれています。
• 幅広い推論サポート: Hugging Face Transformers、vLLM、およびネイティブのOlmo-core生成と互換性があります。
• 高度なトレーニング最適化: メモリ効率のための FlashAttention、TransformerEngine、Liger-Kernel や、float8トレーニングのための torchao などのオプションの依存関係をサポートしています。
• MoEサポート: grouped_gemm と統合されており、ドロップレスな混合エキスパートモデルをサポートします。