areal-project/AReaL

해결 과제

AReaL은 파운데이션 모델 학습과 복잡한 에이전트 AI 애플리케이션 개발 사이의 간극을 메우기 위해 설계된 인프라입니다. 완전 비동기 강화 학습 (RL) 패러다임을 활용하여 추론 및 에이전트 기반 모델을 위한 효율적이고 확장 가능하며 비용 효율적인 학습 방법의 필요성을 해결합니다.

작동 원리

AReaL은 학습 파이프라인의 핵심 구성 요소인 학습, 추론, 에이전트 실행, 가중치 업데이트를 분리하는 마이크로서비스 기반 아키텍처로 작동합니다. 비동기 RL 접근 방식을 사용하여 기존의 동기식 방식보다 더 빠른 학습 속도를 제공합니다. GRPO, PPO, RLOO와 같은 다양한 RL 알고리즘을 지원하며 여러 에이전트 프레임워크와 통합되어 있어, 개발자는 기존 에이전트 런타임을 base URL을 통해 AReaL 서비스에 연결하기만 하면 에이전트를 학습시킬 수 있습니다.

대상 사용자

이 프로젝트는 대규모 추론 모델이나 복잡한 AI 에이전트를 학습시켜야 하는 AI 연구원 및 엔지니어를 위한 것입니다. 고급 RL 알고리즘을 실험하거나 전체 코드베이스를 다시 작성하지 않고도 기존 에이전트 워크플로우에 RL 학습을 통합하려는 사용자에게 특히 유용합니다.

주요 특징

• 완전 비동기 RL: 대규모 모델 학습에서 업계 최고 수준의 속도와 안정성을 위해 최적화되었습니다.
• 마이크로서비스 아키텍처: 학습, 추론, 에이전트 서비스를 분리하여 모듈성과 확장성을 제공합니다.
• 광범위한 알고리즘 지원: GRPO, PPO, GSPO와 같은 최신 알고리즘의 네이티브 구현과 KPop, IcePop과 같은 다양한 token-masking 기술을 포함합니다.
• 에이전트 유연성: "블랙박스" 에이전트 학습을 지원하여 최소한의 설정으로 사용자 지정 에이전트 런타임을 연결할 수 있습니다.
• 하드웨어 범용성: NVIDIA GPU 및 Huawei Ascend NPU를 포함한 다양한 하드웨어에서의 학습을 지원합니다.