mbzuai-oryx/Awesome-LLM-Post-training

해결하는 문제

이 저장소는 빠르게 진화하는 대규모 언어 모델(LLM) 포스트 트레이닝 분야를 탐색하는 복잡성을 해결합니다. 초기 훈련 단계 후 LLM의 추론, 의사 결정 및 정렬을 개선하는 방법을 이해하는 데 도움이 되는 구조화되고 엄선된 연구 및 방법론 모음을 제공합니다.

작동 방식

이 프로젝트는 중앙 지식 허브 역할을 합니다. 학술 논문, 벤치마크 및 기술 리소스를 명확한 분류 체계로 구성합니다. 여기에는 강화 학습(RL) 기술, 프로세스 보상 모델, 트리 검색 알고리즘 및 정책 최적화와 같은 범주가 포함되어 사용자가 미세 조정이나 테스트 시간 확장과 같은 특정 포스트 트레이닝 전략을 탐색할 수 있습니다.

대상 독자

이 리소스는 LLM의 기술 발전에 관심이 있는 AI 연구자, 머신 러닝 엔지니어 및 학생을 대상으로 합니다. 특히 현대 "추론 모델"에서 볼 수 있는 고급 추론 능력을 구현하거나 연구하려는 사람들에게 유용합니다.

주요 특징

• 미세 조정, RL 및 테스트 시간 확장을 포함한 포스트 트레이닝 방법의 포괄적인 분류 체계.
• 추론, 의사 결정 및 다중 에이전트 시스템에 관한 영향력 있는 논문의 엄선된 목록.
• LLM-RL 프레임워크 평가 및 구현을 위한 벤치마크 및 라이브러리 링크.
• IEEE TPAMI에 채택된 서베이 논문을 포함한 최신 연구로 정기적으로 업데이트됩니다.