oumi: 보일러플레이트 없이 파운데이션 모델을 학습, 평가 및 배포하기 위한 엔드투엔드 플랫폼

해결하는 문제

oumi는 파운데이션 모델 구축의 복잡한 엔드투엔드 라이프사이클을 단순화하기 위해 설계된 오픈소스 플랫폼입니다. 개발자가 학습 루프, 데이터 파이프라인 및 배포 워크플로우를 위한 반복적인 보일러플레이트 코드를 작성할 필요를 없애주어, 데이터 준비부터 프로덕션까지 더 빠르게 이동할 수 있도록 합니다.

작동 방식

oumi는 통합 API와 명령줄 인터페이스(CLI)를 제공하여 사용자가 사전 정의된 "recipes"(설정 파일)를 사용하여 학습, 평가 및 추론 작업을 실행할 수 있도록 합니다. vLLM 및 SGLang과 같은 인기 있는 추론 엔진과 통합되며, FSDP, DeepSpeed 및 DDP와 같은 분산 학습 기술을 지원합니다. 이 플랫폼은 노트북에서 로컬로 실행하거나 AWS, Azure, GCP 및 Lambda와 같은 클라우드 제공업체에서 원격으로 실행할 수 있습니다.

대상 사용자

다양한 모달리티(텍스트 및 멀티모달)와 환경에 걸쳐 파운데이션 모델(10M에서 405B 파라미터 범위)을 개발, 미세 조정 및 배포해야 하는 ML 연구자 및 기업 팀을 위해 구축되었습니다.

주요 특징

• End-to-End Lifecycle: 데이터 합성, 큐레이션, 학습, 평가 및 배포를 모두 다룹니다.
• Broad Model Support: Llama, DeepSeek, Qwen 및 Phi를 포함한 광범위한 아키텍처와 호환됩니다.
• Advanced Training Techniques: SFT, LoRA, QLoRA 및 GRPO를 기본적으로 지원합니다.
• Cloud Integration: 여러 주요 클라우드 플랫폼에서 원격으로 작업을 실행하고 모니터링할 수 있는 기능이 있습니다.
• LLM-as-a-Judge: LLM 판사를 사용하여 학습 데이터를 필터링하고 큐레이션하는 내장 도구를 제공합니다.