inclusionAI/AReno

해결하는 문제

AReno는 대규모 언어 모델(LLM) 강화 학습(RL) 및 사후 학습을 단일 노드에서 쉽게 수행할 수 있도록 설계된 독립형 툴킷입니다. 복잡한 클러스터 설정이나 개별 학습 프레임워크, 추론 서버, 커널 라이브러리를 수동으로 연결할 필요가 없으므로, 개발자는 기본 체크포인트에서 로컬 모델 서비스까지 즉시 전환할 수 있습니다.

작동 방식

AReno는 학습, 추론, 롤아웃 기능을 하나의 패키지로 통합한 풀스택 설계를 제공합니다. Trainer 클래스를 사용하여 RL 루프를 관리합니다. 여기에는 온폴리시(on-policy) 완성 생성(롤아웃), 사용자 정의 보상 함수를 통한 점수 매기기, 모델 가중치 업데이트(학습)가 포함됩니다. NVIDIA CUDA, Ascend NPU, Apple Silicon(MLX 경유)을 포함한 다양한 하드웨어 백엔드를 지원하며, 에이전트 RL 궤적을 위한 OpenAI 호환 프록시를 제공합니다.

대상 사용자

분산 클러스터를 관리하는 오버헤드 없이 빠르고 로컬에서 LLM 사후 학습, SFT/DPO 스타일 학습 또는 에이전트 RL을 수행하려는 연구원 및 개발자.

주요 특징

• 플러그 앤 플레이: 간단한 CLI 플래그나 Python API를 통해 다양한 사후 학습 방법에 접근 가능.
• 멀티 백엔드 지원: CUDA, Ascend NPU, Apple Silicon MLX와 네이티브 호환.
• 에이전트 RL 준비 완료: 로컬 OpenAI 호환 프록시와 상호 작용하는 에이전트가 생성한 궤적을 통한 학습 지원.
• 멀티모달 기능: OpenAI 스타일의 메시지 형식을 사용하여 이미지, 오디오, 비디오 콘텐츠 처리.
• LORA 통합: Qwen3 및 Bailing-MoE V3와 같은 모델을 위한 TP 인식 어댑터 학습을 네이티브로 지원하며 표준 PEFT 아티팩트 저장.
• 확장 가능한 아키텍처: 새로운 알고리즘, 보상 함수, 하드웨어 백엔드를 쉽게 등록 가능.