facebookresearch/fairseq2

What it solves

fairseq2 是一个序列建模工具包，专为研究人员设计，用来训练自定义的内容生成模型。它用干净、模块化的 API 和可扩展的架构取代了原来的 fairseq，使研究人员能够独立维护自己的项目代码库，而不必依赖单一的巨型框架。

How it works

它利用现代的 PyTorch 工具，包括 torch.compile 和 PyTorch FSDP，提供高性能的训练和推理。工具包包含用 C++ 编写的流式数据管道 API，具备高吞吐量，特别支持语音和视频解码。还提供结构化的 API 用于确定性配置，并提供编程化的资产卡，以版本控制方式访问模型、数据集和 tokenizer。

Who it’s for

适用于从事序列建模和内容生成的 AI 研究人员和开发者，尤其是需要在多 GPU 和多节点环境下扩展到 70B+ 参数模型的用户。

Highlights

• Scalable Training: 支持使用 DDP、FSDP 和张量并行的多 GPU 与多节点训练，适用于超大模型。
• Extensible Architecture: 通过 setuptools 扩展机制注册新模型、优化器和训练器，无需 fork 库。
• litre-Integrated Inference: 原生支持 vLLM，内置抽样和束搜索生成器。
• Specialized Recipes: 官方提供指令微调和偏好优化的专属配方。
• High-Throughput Data: 基于 C++ 的流式数据管线，高效处理语音和视频数据。