facebookresearch/fairseq2

해결하는 문제

fairseq2는 컨텐츠 생성 작업을 위한 맞춤형 모델을 훈련하기 위해 연구자들을 위한 시퀀스 모델링 툴킷입니다. 기존 fairseq 프레임워크를 대체하는 더 모듈식이고 확장 가능한 아키텍처를 제공하여, 연구자가 라이브러리 전체를 포크할 필요 없이 자신의 프로젝트 코드베이스를 유지할 수 있도록 합니다.

작동 방식

명확한 API와 모듈식 설계 철학을 제공합니다. 현대적인 PyTorch 도구(torch.compile 및 PyTorch FSDP)와 통합되어 고성능 훈련을 지원합니다. C++ 기반의 스트리밍 데이터 파이프라인을 통해 높은 처리량을 제공하며, 특히 음성 및 비디오 디코딩을 지원합니다.

대상 사용자

시퀀스 모델링 및 컨텐츠 생성에 집중하는 AI 연구자들로, 특히 70B 이상의 파라미터를 가진 대규모 모델과 텍스트, 음성, 비디오와 같은 다양한 모달리티를 다루는 연구자들에게 적합합니다.

주요 특징

• 확장 가능한 훈련: DDP, FSDP, 텐서 병렬을 사용한 멀티 GPU 및 멀티 노드 훈련을 지원하여 70B 파라미터 이상의 모델을 처리 가능.
• 확장 가능한 아키텍처: 라이브러리를 포크하지 않고도 새로운 모델, 최적화기, 스케줄러를 등록할 수 있도록 setuptools 확장 메커니즘을 사용.
• 네이티브 vLLM 지원: 내장된 샘플링 및 비음 서치 생성기와 함께 vLLM에 대한 네이티브 지원 제공.
• 통합 레시피: 지시어 미세조정 및 선호도 최적화를 위한 공식 레시피 제공.
• 자산 관리: 버전 관리된 모델, 데이터셋, 토크나이저에 접근하기 위한 프로그래밍 가능한 자산 카드 사용.