facebookresearch/fairseq2

何を解決するか

fairseq2 は、コンテンツ生成タスク用のカスタムモデルをトレーニングするための研究者向けに設計されたシーケンスモデリングツールキットです。元の fairseq フレームワークに代わる、よりモジュール式で拡張可能なアーキテクチャを採用しており、ライブラリ全体をフォークする必要なく、研究者が自らのプロジェクトコードベースを維持できるようにしています。

動作方法

明確な API とモジュール式の設計思想を提供します。現代的な PyTorch ツール（torch.compile および PyTorch FSDP）と統合され、高性能なトレーニングを実現します。C++ をベースとしたストリーミングデータパイプラインにより、高いスループットを実現しており、特に音声および動画のデコードをサポートしています。

対象ユーザー

シーケンスモデリングおよびコンテンツ生成に注力する AI 研究者。特に 70B パラメータ以上の大型モデルや、テキスト、音声、動画など多様なモダリティを扱う研究者に適しています。

主な特徴

• スケーラブルなトレーニング：DDP、FSDP、およびテンソル並列を用いたマルチGPUおよびマルチノードトレーニングをサポート。70Bパラメータを超えるモデルに対応。
• 拡張可能なアーキテクチャ：setuptools の拡張メカニズムを用いて、ライブラリをフォークせずに新しいモデル、最適化手法、スケジューラを登録可能。
• ネイティブ vLLM サポート：vLLM とのネイティブ統合に加え、組み込みのサンプリングおよびビームサーチジェネレータも提供。
• 統合されたレシピ：インストラクション微調整および好み最適化のための公式レシピを提供。
• アセット管理：バージョン管理されたモデル、データセット、トークナイザーへのアクセスをプログラム可能なアセットカードで管理。