facebookresearch/fairseq2

解决的问题

fairseq2 是一个专为研究人员设计的序列建模工具包，用于训练自定义的内容生成模型。它以更模块化、可扩展的架构取代了原始的 fairseq 框架，使研究人员无需 fork 整个库即可维护自己的项目代码库。

如何工作

提供清晰的 API 和模块化设计哲学。该工具包与现代 PyTorch 工具（包括 torch.compile 和 PyTorch FSDP）集成，支持高性能训练。其基于 C++ 的流式数据管道可实现高吞吐量，特别支持语音和视频解码。

适用人群

专注于序列建模和内容生成的 AI 研究人员，尤其是那些处理大规模模型（70B+ 参数）和多种模态（如文本、语音、视频）的研究者。

主要亮点

• 可扩展训练：支持使用 DDP、FSDP 和张量并行的多 GPU 和多节点训练，适用于超过 70B 参数的模型。
• 可扩展架构：使用 setuptools 扩展机制注册新模型、优化器和调度器，无需 fork 库。
• 原生 vLLM 支持：支持 vLLM，同时提供内置的采样和束搜索生成器。
• 集成配方：提供官方的指令微调和偏好优化配方。
• 资产管理：使用程序化资产卡实现对模型、数据集和分词器的版本化访问。