facebookresearch/fairseq2

FAIR Sequence Modeling Toolkit 2

What it solves

fairseq2 は、研究者がコンテンツ生成タスク用にカスタムモデルをトレーニングできるよう設計されたシーケンスモデリングツールキットです。従来の fairseq をクリーンでモジュラーな API と拡張可能なアーキテクチャに置き換え、研究者が単一のモノリシックフレームワークに依存せず、独自のプロジェクトコードベースを独立して保守できるようにします。

How it works

torch.compile や PyTorch FSDP など、最新の PyTorch ツールを活用し、高性能なトレーニングと推論を実現します。ツールキットには、C++ で実装されたストリーミングベースのデータパイプライン API が含まれ、特に音声と動画のデコードをサポートする高スループットを提供します。また、決定論的な設定を可能にする構造化 API と、モデル・データセット・トークナイザーへのバージョン管理されたアクセスを提供するプログラム的なアセットカードも備えています。

Who it’s for

シーケンスモデリングとコンテンツ生成に取り組む AI 研究者・開発者向けです。特に、マルチ GPU・マルチノード環境で 70B+ パラメータ規模のモデルをスケールさせる必要がある方に適しています。

Highlights

  • Scalable Training: DDP、FSDP、テンソル並列を用いたマルチ GPU・マルチノードトレーニングをサポートし、超大規模モデルに対応。
  • Extensible Architecture: setuptools の拡張機構を利用して新しいモデル、オプティマイザ、トレーナーを登録でき、ライブラリをフォークする必要がありません。
  • litre-Integrated Inference: vLLM のネイティブサポートと、組み込みのサンプリング・ビームサーチジェネレータを提供。
  • Specialized Recipes: インストラクションファインチューニングとプリファレンス最適化のための公式レシピを提供。
  • High-Throughput Data: 音声と動画データの効率的処理を実現する C++ ベースのストリーミングデータパイプライン。